ドコモ、NECの映像認識AIとLLMでボクシング試合のハイライトシーンを自動抽出・要約文章生成・SNS投稿する実証を実施

株式会社NTTドコモは、同社が提供する映像配信サービス「Lemino」にて配信されたボクシングの試合映像において、日本電気株式会社（以下、NEC）が提供する映像認識AIと大規模言語モデル（以下、LLM）を活用した「ハイライトシーンのリアルタイム自動抽出と要約文章の自動生成および投稿」の実証実験を行った。

この実証実験では、2024年9月3日に独占無料生配信された「NTTドコモ　Presents　Lemino　BOXING　ダブル世界タイトルマッチ」のストリーミング映像において、NECの映像認識AIとLLMを組み合わせ、ハイライトシーンの抽出及び要約文章の生成を自動で行い、実証用に準備されたSNSに抽出されたハイライト映像・画像と生成された要約文章を配信した。

ドコモ、NECの映像認識AI等により試合のハイライトシーンを自動生成する実証を実施 — 要約文章の例

具体的には、ハイライト抽出及び要約文章生成に、データ活用基盤ソリューション「NEC Multimedia OLAP」を活用。ストリーミング映像に対して、複数の認識AIを用いたマルチモーダル分析手法により、リアルタイムにハイライトシーンを多角的に抽出した。それらのシーンを基に、LLMを活用することで、臨場感ある表現や特定の選手に焦点を当てた描写など、多様な視点での要約文章の生成を行った。

また、ラウンド毎に特徴的なシーンの抽出と、ダイジェスト文および各選手の動きに焦点を置いた説明文の作成を行い、ラウンド間のインターバル中に配信を行った。

さらに同技術では、利用者からの指示を元に該当するシーンを要約した映像や文章を生成できるため、今後は運営側での配信負担軽減に加え、ユーザが求めるハイライトシーン投稿を自動生成するサービス開発などへの活用を目指すとしている。