日本電気株式会社(以下、NEC)は、映像解析技術と生成AIを活用して、お手本動作と実際の作業の違いを把握し、改善に向けたアドバイスを生成する技術を開発した。
この技術は、指導者の代わりにAIがアドバイスを行うことで、多種多様な作業に対するセルフ教育を行うものだ。
これを実現するために、お手本動作との細かな動きの差異が発生している区間を検知する映像解析技術と、差異に基づいて生成AIがお手本動作に近づくための適切なアドバイス文を生成する技術を開発した。
差異区間を検知する映像解析技術では、お手本動作と実際の作業を比較し、同じ動作が行われている区間の対応付けをする。
その際に、人の動きだけでなく、作業対象の物体に対する「つかむ」「持つ」といったインタラクションも捉えることで、お手本動作と動作時間が異なっても正確な対応付けが可能になる。
これにより、従来は検知できなかった細かな作業動作の差異を検出することができる。

アドバイス文を生成する技術では、検出した差異区間映像に加えて、腰や膝の動き、手や指の形状といった骨格情報を、画像などの視覚情報と自然言語を組み合わせて分析する大規模視覚言語モデル(以下、VLM)に入力する。
映像情報だけでなく骨格情報も入力することで、VLMが改善すべき作業姿勢や動作を正確に特定し、具体的なアドバイス文を生成する。
生成されたアドバイス文を該当部分の映像と共に提示することにより、物品の細かな組み立て作業や箱詰め、運搬作業など、様々な業種の現場で指導者を必要としない作業習熟を可能にする。

今後NECは、同技術について、2025年度中に実証と製品開発を進め、2026年度内のサービス提供を目指すとしている。
無料メルマガ会員に登録しませんか?
膨大な記事を効率よくチェック!

IoTに関する様々な情報を取材し、皆様にお届けいたします。