H2Lとドコモ、他者の口の動きと表情を自分の顔にリアルタイム再現する「Face Sharing」共同開発

H2L株式会社と株式会社NTTドコモ（以下、ドコモ）は、自分の顔に他者の口の動きと顔の表情をリアルタイムに再現する「Face Sharing」を共同開発した。

同技術は、H2Lの「BodySharing技術」の新技術として開発された。BodySharing技術とは、筋変位センサーを活用して、手や腕などの身体情報をコンピューターと相互伝達して、人やロボット、VR・ARのキャラクターへ体の動きを伝えることができ、独自の触感提示技術により、他人の体験やVR・AR空間の体験を体に伝えることができる技術だ。

Face Sharingは、頬に装着したデバイスから口周りの筋肉に電気刺激を与えて収縮させ、他者の口の動きやAIが指定する口の動きを再現する技術だ。複数のデバイスを用いることで、1人の口の動きを複数人に同時に再現することもできる。さらに、他者の顔の3D映像を自分に投影することで顔の表情を再現して、スピーカーを使用して他者の音声を再生し、声の再現も可能だ。

同技術を活用することで、他者に代わって自分が会話をすることや、他者の口の動かし方を実際に体験できるため、遠隔からサポートを受けながら外国語での会話や専門的な知識が必要な会話などを行うことが可能になる。その他、同技術がめざす活用シーン例は以下の通り。

• プレゼンテーションの上手な人の口の動かし方や間の取り方を体感する
• プロの歌手の口の動かし方を学ぶ
• 口を動かす練習用プログラムを組んだAIを使って、口の動きを習得する
• アニメーションキャラクターや動物の口の動き、顔の表情を体感する

また、同技術を5Gと組み合わせることで、遠く離れた場所でも他者の口の動きや顔の表情をリアルタイムに再現することや、より多くの人数で同時に同一の体験を共有することが期待できる。

IoTNEWS編集部

IoTに関する様々な情報を取材し、皆様にお届けいたします。