NTT、身体モーション生成技術「Another Me」で再現した「獅童ツイン」を発表

日本電信電話株式会社（以下、NTT）は、現実世界における人や物、都市、環境などさまざまな物理的対象に関して収集したデータからデジタル表現（デジタルツイン）を作成する、デジタルツインコンピューティングの研究開発を推進している。

そうした中、NTTと松竹株式会社は、松竹が主催する「超歌舞伎 2022 Powered by NTT」の公演プログラムの一つである「超歌舞伎のみかた」の一幕において、NTTが研究開発を進めるコンピュータにより、双子の様に人を再現するデジタルツイン「Another Me」の社会実装の第一弾として、同公演に主演する中村獅童のデジタルツインである「獅童ツイン」を実演する実証実験を実施する。

「獅童ツイン」では、「Another Me」の要素技術である、「身体モーション生成技術」により、超歌舞伎に主演する中村獅童の身振り・手振りを自律的に再現する。

「身体モーション生成技術」は、特定の人物の音声・映像データから、特定の人物らしさを学習することで、その人物の発話音声のみから「らしい動作」を自動で生成する。

活用されている技術は、GAN（Generative Adversarial Networks）と呼ばれる深層学習技術で、音声から動作を生成するモデルを構築する。

また、NTTが開発した音声合成技術により、少量の音声から、その人物らしい声色や抑揚のつけ方といった、音声ならではの表現力を学習する。

今後は、人の持つ様々な言語や身体的な表現手段に現れる「その人らしさ」を様々なシーンで学習することで、内面のモデル化を目指すとしている。

なお、この「獅童ツイン」は、「Another Me」技術の実証として、「超歌舞伎」の一幕にて、2022年8月4日から9月25日まで全国の4劇場で実演される。

IoTNEWS編集部

IoTに関する様々な情報を取材し、皆様にお届けいたします。