電気通信大学と東京電機大学、視聴覚の共有と表現再現できるアンドロイドアバターを開発

電気通信大学大学院情報理工学研究科機械知能システム学専攻の仲田佳弘准教授、東京電機大学未来科学部ロボット・メカトロニクス学科の中島瑞助教、電気通信大学大学院情報理工学研究科機械知能システム学専攻博士前期課程1年の新川馨子氏の研究グループは、遠隔操作型アンドロイド（以下、アンドロイドアバター）の頭部ユニットとその操作インタフェースを開発した。

今回研究グループが開発したアンドロイドアバター「Yui」の頭部ユニットは、首の運動を含めた頭部の28か所が変形・動作可能となっている。これにより、操作者の視線、発話に伴う口の動きや表情が再現可能となった。

さらに、装着者の表情を測定可能なVRヘッドセットを用いて、操作者の表情をアバター上に再現するとともに、アバター上の複数のカメラとマイクで取得した映像と音声を操作者に提示する操作インタフェースも開発した。

VRヘッドセットには、映像表示用のディスプレイと音声提示用のスピーカーが搭載されている。操作者は、立体映像に加え立体音響を得ることができるため、実際に見えていなくてもどちらから呼びかけられたかということを音の情報から知ることが可能だ。

さらに、VRヘッドセットには、操作者の頭部の回転や目、眉や頬といった顔の部位の変化が取得可能なセンサと、発話を取得するためのマイクも搭載されている。

操作者の頭部の動きの情報をもとに「Yui」を動作させることで、操作者と「Yui」の表情を同期している。また、マイクで取得された音声は、「Yui」の胸部に埋め込まれたスピーカーから再生されるため、操作者と対面者の間でコミュニケーションが可能だ。

なお、開発したアバターとインタフェースは、簡易的な実験およびデモンストレーションを通じてその効果が確認され、その成果は米国電気電子学会（IEEE）のオープンアクセス誌IEEE Accessに掲載されたのだという。

IoTNEWS編集部

IoTに関する様々な情報を取材し、皆様にお届けいたします。