内田洋行 FOODs IT Fair 2024 - 食品業界のデータとAI活用の最前線

NEC、映像認識AIとLLMにより動画から説明文章を自動生成する技術を開発

日本電気株式会社(以下、NEC)は、生成AIを支える大規模言語モデル(以下、LLM)と映像認識AIを組み合わせ、長時間の動画から利用者の目的に応じた短縮動画と説明文章を自動生成する技術を開発した。

今回の技術では、NECが開発したLLMとデータ検索システムを活用することにより、1時間以上の動画から目的のシーンの動画と説明文章を数秒間で作成可能だ。

例えばこの技術をドライブレコーダの動画分析に活用することで、事故発生時の状況や発生に至った経緯などを説明する文章と、短縮動画を自動で生成可能となる。

NEC、映像認識AIとLLMにより動画から説明文章を自動生成する技術を開発
開発した技術による分析の流れ

具体的には、100以上の映像認識AIを活用し、シーンを構成する人物、車、建物、動物、樹木などの自然物、天気などの様々な物体や環境と、それらの変化を個別に認識する。

その認識結果だけをLLMで分析することで、動画全体を分析する場合と比較して、利用者が求めるシーンを効率的に見つけ出すことができ、目視による動画の繰り返し確認が不要となる。

生成文章の品質を向上には、対象分野のサンプル映像を使って、LLMを事前にファインチューニングする。

例えば、ドライブレコーダの動画に適用する場合であれば、事前に道路交通関係の動画を分析することで、LLMが専門知識を備え、動画内で起きた出来事を正しく理解できるようになる。

その結果、生成AIの正確性の課題であるハルシネーションに対応しながら、損害保険金請求や交通安全指導などに向けた事故調査報告書を、フォーマットに合わせて自動作成することができる。

NECは今後、2024年3月にこの技術の試用版を、損害保険会社や自動車メーカなどに提供を開始し、ドライブレコーダの動画を活用した事故報告書などの資料作成を支援する。

また、この技術を看護や介護記録の作成支援、製造や建設現場での作業記録の作成支援、自動運転用AIに学習させる事故シーンの収集と説明文の作成、放送映像向け特定コンテンツの収集とナレーション原稿の作成など、様々なユースケースに展開する予定だ。

無料メルマガ会員に登録しませんか?

膨大な記事を効率よくチェック!

IoTNEWSは、毎日10-20本の新着ニュースを公開しております。 また、デジタル社会に必要な視点を養う、DIGITIDEという特集コンテンツも毎日投稿しております。

そこで、週一回配信される、無料のメールマガジン会員になっていただくと、記事一覧やオリジナルコンテンツの情報が取得可能となります。

  • DXに関する最新ニュース
  • 曜日代わりのデジタル社会の潮流を知る『DIGITIDE』
  • 実践を重要視する方に聞く、インタビュー記事
  • 業務改革に必要なDX手法などDXノウハウ

など、多岐にわたるテーマが配信されております。

また、無料メルマガ会員になると、会員限定のコンテンツも読むことができます。

無料メールから、気になるテーマの記事だけをピックアップして読んでいただけます。 ぜひ、無料のメールマガジンを購読して、貴社の取り組みに役立ててください。

無料メルマガ会員登録