Build your own 3D avatar from a video of one camera and reproduce the expression and movement enriched

By uavtechnology
10 Feb 23

reaserch result

オープンイノベーション・IDI

Recruitment

public relations

公募

調達

印刷〜深い相互理解が生まれる遠隔コミュニケーションの実現に向けて〜2022年3月14日

National R & D Corporation Information and Communication Research Organization

National R & D Corporation Information and Communication Research Organization（

カメラ1台の映像から自分の3D avatarを構築し表情や動作を豊かに再現

NICT（エヌアイシーティー）、理事長: 徳田英幸）ユニバーサルコミュニケーション研究所先進的リアリティ技術総合研究室は、カメラ1台の映像から自分のリアルな3D avatarを構築し、表情や動作を豊かに再現する技術（=REXR（レクサー）（Realistic andEXpressive 3D avataR）技術）を開発しました。本技術では、多数のカメラや特殊なセンサは不要で、カメラ1台の映像だけから身体の3D形状・テクスチャ・姿勢と顔の3D形状・表情の構築を行い、刻々と変化する細やかな顔の表情や動作をどの方向からでも入力映像と同程度に精細に再現することに成功しました。今後、本技術の改良と活用を進め、深い相互理解が生まれる遠隔コミュニケーションの実現を目指します。本成果について、国際会議 IEEE VR 2022において2022年3月14日（月）（日本時間）に発表しました。現在、Virtual space (metahase)やComposite reality (MR) spaceを共有し、自分の分身となる3D avatarを用いて遠隔のコミュニケーションを行う技術の開発が各所で進められています。しかし、現状の3D avatarは、あらかじめ用意しておいたCGキャラクタが用いられることが多く、コミュニケーション時に表出される本人の豊かな表情や動作は十分に再現できていません。一方、本人のフォトリアリスティックな3Dモデルを構築するためには、多数のカメラを装備した大規模な設備や特殊なセンサ（奥行き・位置センサ等）を用いる必要があり、カメラ1台だけを用いて、本人の細やかな表情や動作を3D空間に再現することは困難でした。今回NICTは、自分のDigital twinとなるリアルな3D avatarをカメラ1台の映像だけから構築し、本人の表情や動作をどの方向からでも入力映像と同程度に精細に再現するREXR技術の開発に成功しました。この技術は複数のAIモジュールから構成されており、まず、カメラの前で一回転した映像からフルボディのモデルを構築します（図1上参照）。次に、カメラの前で本人が動くと、顔の表情と身体の姿勢が推定され、モデルが更新されます。そして、刻々と変化する本人の表情や身体動作をこの3D avatarを用いて様々な方向から再現・表示することができます。（図1下参照）。図1: REXR技術: カメラ1台の映像から3D avatarを構築し、刻々と変化する表情や動作を様々な方向から再現REXR技術を用いると、本人が表出する細やかな表情（微表情: micro-expressions）や動作を3D avatarを用いてどの方向からでも入力映像と同程度に精細に再現できるため、心の機微（微妙な感情変化・意図など）をこれらの非言語情報から読み取ることが可能です（図2参照）。今回開発したREXR技術を仮想空間における多人数のオンラインの遠隔ミーティングに活用すれば、将来、深い信頼関係の構築やシビアなビジネス交渉もリモートで可能になり、相互理解の深化が図れる遠隔コミュニケーションの実現が期待されます（図3参照）。（図2と図3の動画は、https://youtu.be/LuqhKmkAEagからご覧いただけます。）図2: 細やかな表情の変化を様々な方向から再現した3D avatar図3: 仮想空間内で互いに向き合い、各人の表情・動作を豊かに伝えて相互理解の深化が図れる将来の遠隔コミュニケーションに活用今後は、複数の人々が仮想空間を共有して深い相互理解が得られる遠隔コミュニケーションの実現を目指して、3D avatar構築の精度向上（3次元形状の正確さや動きの滑らかさ等）や処理の高速化（リアルタイム対応）を可能にする技術開発を更に進めていきます。また、本技術の活用や実証実験、技術を普及していく上での倫理的・法的・社会的課題に関しては、URCF (Super Reality Communications Insopicial Office Forum)のXR遠隔コミュニケーションWG等とも連携して、本技術の社会展開に取り組んでいきます。会議名: IEEE Conference on Virtual Reality and 3D User Interfaces （IEEE VR 2022）（開催期間: 2022年3月12日（土）〜16日（水））タイトル: Creating 3D personal avatars with high quality facial expressions for telecommunication and telepresence著者: Michal Joachimczak, Juan Liu, Hiroshi Ando

Terms

3D avatar

自分の分身として仮想空間などに表示される3Dモデル（立体形状データ及び表面テクスチャ）のこと。元の記事へ

Virtual space (metahase)

インターネット上に構築された仮想的な空間のことで、3D avatarを介して現実空間のような交流を持ったり社会的な営みを行うための場。元の記事へ

Composite reality (MR) space

複合現実（MR: Mixed Reality）空間は、現実世界と仮想世界が融合し、相互にリアルタイムで影響し合う空間のことで、カメラやセンサを用いて実世界の空間情報を認識することで、仮想的な物体や人物を現実の3D空間にあたかも存在するかのように表示させることができる。元の記事へ

Digital twin

現実世界の情報をデジタル化して「双子」のように仮想空間に再現する技術のこと。リアルタイムにデータを収集して仮想空間に反映させることで、実世界とのインタラクションや高度な将来予測への活用が期待されている。元の記事へ

Micro-Expressions

コミュニケーションの最中にわずかに顔に生じる表情の変化のこと。微表情には、その人の真の感情が無意識に表出されると考えられている。元の記事へ

URCF (Super Reality Communications Insopicial Office Forum)

高い臨場感を有する情報メディアの実現・普及のための技術開発、先端情報共有、異分野交流の促進等を目的として、産学官が連携して2007年3月に設立されたフォーラム。Webサイトは、https://www.urcf.jp/元の記事へ安藤広志, Juan Liu, Michal JoachimczakE-mail: inquiry_artlkhn.nict.go.jpTel: 042-327-6923E-mail: publicitynict.go.jp