国立研究開発法人情報通信研究機構（NICT）のユニバーサルコミュニケーション研究所先進的リアリティ技術総合研究室は2022年3月14日、3Dアバター構築技術「REXR（Realistic and EXpressive 3D avataR）」を開発したと発表した。カメラ1台の映像だけから、身体の3D形状、テクスチャ、姿勢と顔の3D形状、表情を構築する。刻々と変化する細やかな顔の表情や動作を、どの方向からでも入力映像と同程度に精細に再現するとしている。
情報通信研究機構（NICT）は、3Dアバター構築技術「REXR（Realistic and EXpressive 3D avataR）」を開発した（図1）。カメラ1台の映像から、身体の3D形状、テクスチャ、姿勢と顔の3D形状、表情を構築する。刻々と変化する本人の顔の表情や動作を、どの方向からでも入力映像と同程度に精細に再現するとしている。
図1：カメラ1台の映像から3Dアバターを構築し、刻々と変化する表情や動作を様々な方向から再現する（出典：情報通信研究機構）拡大画像表示
3Dアバターは、あらかじめ用意しておいたCGキャラクターが用いられることが多く、本人の豊かな表情や動作は十分に再現できていない。「本人のリアルな3Dモデルを構築するためには、多数のカメラを装備した大規模な設備や特殊なセンサーを用いる必要があり、カメラ1台だで本人の細やかな表情や動作を3D空間に再現することは困難だった」（NICT）。
開発したREXRは、複数のAI機能で構成する。まず、カメラの前で1回転した映像から、フルボディのモデルを構築する。次に、カメラの前で本人が動くと、顔の表情と身体の姿勢を推定し、モデルを更新する。刻々と変化する本人の表情や身体動作を、3Dアバターを用いて、様々な方向から再現・表示する。
同技術を用いると、本人の細やかな表情や動作を、3Dアバターを用いてどの方向からでも入力映像と同程度に精細に再現できる。このため、心の機微（微妙な感情変化・意図など）を、これらの非言語情報から読み取ることが可能になる。同技術を仮想空間における多人数のオンラインの遠隔ミーティングに活用すれば、深い信頼関係の構築や、シビアなビジネス交渉も、リモートで可能になる（画面1）。
画面1：仮想空間内で互いに向き合う将来の遠隔コミュニケーションに活用できる（出典：情報通信研究機構） 今後は、複数の人が仮想空間を共有して深い相互理解が得られる遠隔コミュニケーションの実現を目指し、3Dアバター構築の精度向上（3次元形状の正確さや動きの滑らかさなど）や処理の高速化（リアルタイム対応）などの技術開発を進めていく。また、同技術の活用や実証実験、技術を普及していく上での倫理的・法的・社会的課題に関しては、URCF（超臨場感コミュニケーション産学官フォーラム）のXR遠隔コミュニケーションWGなどとも連携し、社会展開に取り組んでいく。
