国際体操連盟、富士通の動作をセンシングしAIが技を自動判定するシステムを全10種目で利用開始

国際体操連盟（以下、FIG）と富士通株式会社は、共同開発している「Judging Support System」（以下、JSS）において、全10種目に対応したシステムの開発を完了し、2023年9月30日から10月8日まで、ベルギーのアントワープで開催中の「第52回世界体操競技選手権大会」で、全種目への適用を開始した。

JSSは、体操競技において、競技者の動作をセンシングし、数値データとして分析することでAIが技を自動判定する。その結果を画面に表示したり、関節の角度などの審判が正確な体の動きを見たい場面の数値情報を表示したりすることで、同一基準による正確な判定を支援するものだ。

今回、従来のセンサ方式をカメラ映像による画像分析に置き換え、かつ富士通が開発したAI技術をさらに強化することで、体操の高速で複雑な動きを精緻に捉えた分析を実現した。

今後、FIG加盟国は、JSSをトレーニング中に選手の能力や技の習熟度を評価するトレーニングプログラムの一環として利用できるようになる。また、システムで生成されたデータに基づいた専門的な解説や映像を、世界中の視聴者に提供する。

また、FIGは、JSSを活用して、関節の角度や手足の位置などの数値を用い、より具体的に技を判断するガイドラインを2023年11月より順次公開する。

富士通は、JSSで培った画像分析技術やノウハウ、AI技術を融合したデータ解析プラットフォーム「Human Motion Analytics」（以下、HMA）を、2024年4月から順次、流通や医療などの産業に提供していく予定だ。

「HMA」は、これまでのディープラーニングによる画像解析で課題だった、姿勢認識のブレを低減できる富士通の独自補正アルゴリズムおよび、AIと3Dのノウハウを活用したフォトリアルな画像を自動生成する技術を搭載している。

これにより、会場の明るさ、観客席や器具の色など、様々な環境を想定した学習データの大量生成を実現。また、人の動きを4次元（3次元＋時系列）で捉え、ある瞬間のポーズではなく、一連の動きとして動作を認識する4-Dimimention Capture技術を開発した。

国際体操連盟、富士通の動作をセンシングしAIが技を自動判定するシステムを全10種目で利用開始 — 生成された学習データ

さらに、様々な分野への応用するため、「屈伸する」「手を伸ばす」「物をつかむ」など、100種類以上の人の基本動作を独自に定義し、これらを組み合わせることで、より細かく人の行動を分析するシステムを構築できる仕組みとなっている。

「HMA」の適用例は、医師や理学療法士などの専門家の知見をもとに正しい動作を定義するとともに、患者や生活者の動作をデータ化したうえで、回復期の患者の運動療法や予防医療を支援する「ヘルスケア領域」や、スポーツ選手の3Dデータを活用した映像体験の実現やフォーム評価などでの動きの改善、ゲームやアニメーション製作に活用する「エンターテインメント領域」、人間工学に基づく分析により、従事している作業員の負担軽減やスキル向上、および人の動きのデータを活用した新製品を開発といった「リテール&製造」が挙げられている。