Preferred Networks、指先の向きや手の重なりまで認識できる3D姿勢推定技術を開発

株式会社Preferred Networks（以下、PFN）では、これまでイラスト向けとして、動画撮影した人物のモーションをトラッキングし、2Dキャラクターに同じ動きを反映させる技術をコミックマーケット94（2018年）に出展したほか、スポーツ解析向けとして、サッカーのパスコース判定に姿勢推定技術を応用してきた。

そしてPFNは今回、深層学習を活用して身体の動きや指先の向きまで高精度に認識する3D姿勢推定技術の開発を発表した。

新技術では、3DCGによる人体シミュレーションによって大量の学習データを作成し、それをPFNのスーパーコンピュータで学習することで、全身を総合的に認識できる3D姿勢推定モデルの構築が可能である。

同技術は、専用カメラによる撮影や、身体へのセンサー装着の必要がなく、これまでの技術で課題となっていた指先の向きや両手が重なる場面などでの誤検出を大幅に削減し、スマートフォン等で撮影した動画でも身体細部の動きをトラッキングできるようになった。

これにより、これまでデジタル化が難しかった楽器演奏やスポーツの解析、細かな手作業の技術継承、遠隔診断・リハビリなどへの技術応用が期待でき、さらにアバターアニメーション制作などの自動化を進めることが可能になる。

この3D姿勢推定技術は、ソフトバンクが開発する、手話と音声による双方向コミュニケーションシステム「SureTalk」に採用されている。ソフトバンクが集めた多様な手話動画から、指先の向きや身体（手首・肘・肩・首・鼻・腰）の動きをトラッキングし、手話話者個人を特定しない、コンピュータグラフィックス（CG）による統一規格の手話アバター動画を生成するための基礎技術として活用されている。

手話では、指の動きや手の重なりが語彙の意味に影響するため、指先まで認識できる高度な3D姿勢推定技術が不可欠であった。この技術により自動生成された手話アバター動画は、手話話者によるオリジナル動画の再現性を複数の目でチェックし、正しい手話表現になるよう微修正を加えて公開できるようになった（上の動画）。