NTT・WITH ALS・DLT、生体情報を基にした運動能力転写技術を用いALS共生者の豊かな表現に挑戦

ALS（Amyotrophic Lateral Sclerosis：筋委縮性側索硬化症）は、運動神経が損傷し、脳から筋肉への指令が伝わらなくなることで、全身の筋肉が少しずつ動かしにくくなる病気だ。

体を自由に動かすことができなくなっても、脳の機能は変わらず認知機能は正常なまま、全身の筋力が徐々に機能を失っていく。

人工呼吸器をつけることにより、本来の生を全うできると言われている一方、人工呼吸器をつけるための気管切開手術によって、声を失うこととなる。

音声言語と身体表現によるコミュニケーション手段を失うことから、世界的に見ると9割以上のALSの方が、人工呼吸器装着を拒否しているのが現状だ。

日本電信電話株式会社（以下、NTT）はこれまで、音声合成技術を用いて、残されていた録画や録音の音声から、本人らしい声の再現に取り組んできた。この技術は、本人の声色を保ったまま、複数言語を話すことを可能とする。

こうした中、NTTは、一般社団法人WITH ALS、Dentsu Lab Tokyo（以下、DLT）と共に、NTTの生体情報を基にした運動能力転写技術を用いたライブパフォーマンスを、2023年9月6日～10日にリンツ（オーストリア）で開催される「アルスエレクトロニカ・フェスティバル」で披露することを発表した。

ステージでは、ALS共生者の豊かなコミュニケーションに向けた「Project Humanity」の取り組みを紹介するとともに、NTTの生体情報を基にした運動能力転写技術を用い、ALSと共生しているWITH ALS代表兼DJである武藤将胤氏によるライブパフォーマンスを、東京から遠隔で披露する。

具体的には、メタバース空間において、ALS共生者である武藤氏の意思で、わずかに動作する自らの身体を動かすことでアバターを操作する。

身体には生体情報を取得する筋電センサを装着し、自身の微細な筋活動によって得られる生体情報を操作情報に変換することで、アバター操作を実現している。

なお、アバターでは、武藤氏がALS進行前にDJとして観客を盛り上げてきた頃の身体表現を再現している。

実験室での試験では、身体（首、腕、足の各二カ所）に筋電センサを設置し、ALS共生者の意思で動作した部分の筋電データが得られることが確認されている。

リアル空間での見た目では微細なALS共生者の動きも、筋電データとして見ると、はっきりとした波形で検出されている。

NTTは、センシングしたデータをアバター操作情報に変換し、その操作情報を用いて、DLTがメタバース上に生成したアバターの自由な操作を実装することで、非言語表現を拡張している。
　
今後NTTは、2024年度にコミュニケーション表現をさらに発展させ、メタバース空間やロボットを介したリアル空間で、ALSであるというバックグラウンドを感じさせないコミュニケーションを体験できるようにするとしている。