株式会社NTTドコモは、同社が提供する映像配信サービス「Lemino」にて配信されたボクシングの試合映像において、日本電気株式会社（以下、NEC）が提供する映像認識AIと大規模言語モデル（以下、LLM）を活用した「ハイライトシーンのリアルタイム自動抽出と要約文章の自動生成および投稿」の実証実験を行った。
この実証実験では、2024年9月3日に独占無料生配信された「NTTドコモ Presents Lemino BOXING ダブル世界タイトルマッチ」のストリーミング映像において、NECの映像認識AIとLLMを組み合わせ、ハイライトシーンの抽出及び要約文章の生成を自動で行い、実証用に準備されたSNSに抽出されたハイライト映像・画像と生成された要約文章を配信した。
具体的には、ハイライト抽出及び要約文章生成に、データ活用基盤ソリューション「NEC Multimedia OLAP」を活用。ストリーミング映像に対して、複数の認識AIを用いたマルチモーダル分析手法により、リアルタイムにハイライトシーンを多角的に抽出した。それらのシーンを基に、LLMを活用することで、臨場感ある表現や特定の選手に焦点を当てた描写など、多様な視点での要約文章の生成を行った。
また、ラウンド毎に特徴的なシーンの抽出と、ダイジェスト文および各選手の動きに焦点を置いた説明文の作成を行い、ラウンド間のインターバル中に配信を行った。
さらに同技術では、利用者からの指示を元に該当するシーンを要約した映像や文章を生成できるため、今後は運営側での配信負担軽減に加え、ユーザが求めるハイライトシーン投稿を自動生成するサービス開発などへの活用を目指すとしている。
無料メルマガ会員に登録しませんか？
IoTNEWSは、毎日10-20本の新着ニュースを公開しております。 また、デジタル社会に必要な視点を養う、DIGITIDEという特集コンテンツも毎日投稿しております。
そこで、週一回配信される、無料のメールマガジン会員になっていただくと、記事一覧やオリジナルコンテンツの情報が取得可能となります。
- DXに関する最新ニュース
- 曜日代わりのデジタル社会の潮流を知る『DIGITIDE』
- 実践を重要視する方に聞く、インタビュー記事
- 業務改革に必要なDX手法などDXノウハウ
など、多岐にわたるテーマが配信されております。
また、無料メルマガ会員になると、会員限定のコンテンツも読むことができます。
無料メールから、気になるテーマの記事だけをピックアップして読んでいただけます。 ぜひ、無料のメールマガジンを購読して、貴社の取り組みに役立ててください。
無料メルマガ会員登録
IoTに関する様々な情報を取材し、皆様にお届けいたします。
