NEC、映像解析技術と生成AIを組み合わせ作業改善のアドバイスを自動で生成する技術を開発

日本電気株式会社(以下、NEC)は、映像解析技術と生成AIを活用して、お手本動作と実際の作業の違いを把握し、改善に向けたアドバイスを生成する技術を開発した。

この技術は、指導者の代わりにAIがアドバイスを行うことで、多種多様な作業に対するセルフ教育を行うものだ。

これを実現するために、お手本動作との細かな動きの差異が発生している区間を検知する映像解析技術と、差異に基づいて生成AIがお手本動作に近づくための適切なアドバイス文を生成する技術を開発した。

差異区間を検知する映像解析技術では、お手本動作と実際の作業を比較し、同じ動作が行われている区間の対応付けをする。

その際に、人の動きだけでなく、作業対象の物体に対する「つかむ」「持つ」といったインタラクションも捉えることで、お手本動作と動作時間が異なっても正確な対応付けが可能になる。

これにより、従来は検知できなかった細かな作業動作の差異を検出することができる。

NEC、映像解析技術と生成AIを組み合わせ作業改善のアドバイスを自動で生成する技術を開発
物体に対するインタラクションも活用することで、対応付けを正確にしている。

アドバイス文を生成する技術では、検出した差異区間映像に加えて、腰や膝の動き、手や指の形状といった骨格情報を、画像などの視覚情報と自然言語を組み合わせて分析する大規模視覚言語モデル(以下、VLM)に入力する。

映像情報だけでなく骨格情報も入力することで、VLMが改善すべき作業姿勢や動作を正確に特定し、具体的なアドバイス文を生成する。

生成されたアドバイス文を該当部分の映像と共に提示することにより、物品の細かな組み立て作業や箱詰め、運搬作業など、様々な業種の現場で指導者を必要としない作業習熟を可能にする。

NEC、映像解析技術と生成AIを組み合わせ作業改善のアドバイスを自動で生成する技術を開発
映像情報と骨格情報の併用により、作業姿勢や動作の改善アドバイス文を生成する。

今後NECは、同技術について、2025年度中に実証と製品開発を進め、2026年度内のサービス提供を目指すとしている。

無料メルマガ会員に登録しませんか?

膨大な記事を効率よくチェック!

IoTNEWSは、毎日10-20本の新着ニュースを公開しております。 また、デジタル社会に必要な視点を養う、DIGITIDEという特集コンテンツも毎日投稿しております。

そこで、週一回配信される、無料のメールマガジン会員になっていただくと、記事一覧やオリジナルコンテンツの情報が取得可能となります。

  • DXに関する最新ニュース
  • 曜日代わりのデジタル社会の潮流を知る『DIGITIDE』
  • 実践を重要視する方に聞く、インタビュー記事
  • 業務改革に必要なDX手法などDXノウハウ

など、多岐にわたるテーマが配信されております。

また、無料メルマガ会員になると、会員限定のコンテンツも読むことができます。

無料メールから、気になるテーマの記事だけをピックアップして読んでいただけます。 ぜひ、無料のメールマガジンを購読して、貴社の取り組みに役立ててください。

無料メルマガ会員登録