NTT、わずかな筋の動作をメタバースへの操作命令につなげる入力インタフェースを開発

日本電信電話株式会社（以下、NTT）は、四肢等肢体が不自由である重度身体障がい者に残存しているわずかな筋の動作を、メタバースへの操作命令につなげる入力インタフェースを開発したことを発表した。

これにより、重度身体障がい者は、脳信号入力や視線入力に加えて、表面筋電信号入力を自分の意思を伝えるための身体拡張技術として利用できるようになる。

今回開発された入力インタフェースは、筋をわずかでも動かすことで、sEMGセンサにより、筋線維が収縮活動するときに発生する活動電位であるsEMGを計測することができる。

実際、あるALS共生者が、わずかに動かせる身体部位の身体位置情報と、その部位の動作に寄与するsEMGを計測した結果を見ると、数mmの身体部位の動きに対してsEMGが観測された。ただし、障がいの個人差の影響のため、利用可能な身体部位は個々の身体状況に応じて設定することになる。

しかし、ある身体部位を意図して動かそうとするときに、別の身体部位の筋も反応している場合がある。実際に、指示された身体部位をALS共生者が動作させている区間（上図黄色の帯）において、別の身体部位の筋が反応している様子が観測された。

そこで、意図した身体部位の筋を抽出する技術として、安静時のような筋の脱力された状態をsEMGの基準値に設定するキャリブレーションと、筋収縮の動作判定に使用される閾値の設定を身体部位ごとに設定することがポイントとなる。

なお、この技術を活かしたALS共生者によるDJパフォーマンスのステージでは、曲が流れた直後の安静状態を基準値となるように設定し、実際のDJパフォーマンス時の力みの状態に合わせて閾値を設定した。
　
また、EMGセンサにより計測された連続的なsEMGからメタバースへの操作命令に変換する上で考慮すべきポイントは、筋疲労だ。

重度身体障がい者は、筋力および筋持久力が衰えるため、身体部位の動作を節約しながらメタバースへの意図した操作命令を実現することが必要となる。

そこで、筋を長時間収縮し続けることや、筋収縮に強弱をつけることによる操作命令を避け、その代わりに、各身体部位の筋収縮の動作判定に応じて各操作命令が決定する方針にした。

さらに、各操作命令に対応するアバター動作が一定時間反映されるようにした。つまり、同じ操作命令を繰り返した場合、反映されるアバター動作時間が延長されるようにしている。

例えば、指の伸展動作に応じてメタバース空間上のアバターが手を挙げる場合、伸展したことを検知する技術と、伸展に応じて上がったアバターの手は、一定時間上がり続けることが考えられる。

下図の例では、左手の指の動作が認識されてから、アバターは3秒間手を挙げる動作を実施し、手を挙げている最中に追加で左手の指の動作が認識されると、その時点から3秒間手を挙げる動作に更新されている。

この技術を実体験したALS共生者は、自分が意図した通りにアバターが動作していることで、自分自身の身体動作を通じてアバターを動作できていると実感することができたのだという。

また、メタバース操作の実装事例紹介としては、アバターによるDJパフォーマンスが挙げられている。

NTTとDentsu Lab Tokyo（以下、DLT）が連携し、今回の技術と、DLTの視線入力とアバター表現を組み合わせたメタバースでのDJパフォーマンスを実現するシステムを構築した。

このシステムを用いることで、ALS共生者は、視線入力でこのようにアバターを動かしたいという意思（動きの種類）を読み取り、実際のアバター動作に反映することができる。

このシステムを用いて、DJでもあるWITH ALS代表の武藤将胤氏は、東京から遠隔でオーストリアのリンツで開催された「Ars Electronica Festival 2023」のステージでDJパフォーマンスを披露した。

また、今回の技術によるゲーム操作の実装事例として、アバター向け操作命令の代わりに、ゲーム向け操作命令に変換させることで、ゲーム内キャラクターの操作を実現した。

今後NTTは、2024年度には、障がいの程度に合わせることが可能な技術に改善し、さらに多様なコミュニケーション表現に発展させるとしている。

なお、この技術を利用したアバター操作やゲーム操作は、「NTTR&Dフォーラム2023 IOWN ACCERALATION」にて展示される予定だ。

IoTNEWS編集部

IoTに関する様々な情報を取材し、皆様にお届けいたします。