富士通研究所、1つの教師データをもとに映像中の要素作業を自動検出する技術を開発

従来、工場などの作業現場では、作業員が作業している様子を撮影し、その映像から各要素作業における問題点の洗い出しと改善を行い、生産性や品質の向上を図っているが、映像から各要素作業にかかる時間を取得するために、手作業で各要素作業の区間を分割する必要があり、実際の映像時間に対して数倍から数十倍の工数がかかることが課題となっていた。

また、昨今では、ディープラーニング技術を活用して映像から人の骨格の動きを検出したり、作業の教師データを学習して複数人の間で共通する作業を認識したりすることが可能となっている。しかし、これらのことを実現するには、個人の同じ作業の中においても生じる微妙な動きのばらつきや、人や環境ごとに異なる動きの違いを吸収しつつ、類似する別の動きとの判別を行わなければならず、多くの教師データを用意する必要があった。

株式会社富士通研究所は、製造業などの作業現場における一連の作業映像から「部品を取る」「ねじを締める」「カバーを取り付ける」など個別の要素作業を自動検出する技術を開発した。

同技術は、1回分の作業映像を要素作業ごとに分割したデータを教師データとして学習し、動きのばらつきや類似する別の動きなどを含む同一作業の別映像に対しても、要素作業を自動検出することができる。

具体的には、まず要素作業を学習するにあたり、富士通研究所の行動分析技術「FUJITSU AI Technology Actlyzer」（※）に含まれる3次元骨格認識技術を用いて、教師データとなる映像から人の3次元空間上での姿勢を推定する。

そして、数百ミリ秒から数秒間隔で上半身の姿勢の変化を特徴量として取得し、類似する特徴量をグループ化して数十個の単位動作に分類する。ここでは、姿勢の変化の特徴が類似していれば同一動作とみなされるため、作業位置やカメラの設置位置による映り方の違いにも対応できる。

次に、教師データの映像に対する要素作業区間の分割位置（タイムスタンプ）が記載されたデータを用いて、単位動作の並びと要素作業の対応付けを行う。この際、要素作業を構成する単位動作の組み合わせの変化パターンを推定し、AIモデルとして生成することで、同一作業の場合でも人による動きの違いや人ごとに毎回生じる細かな動きの違いを吸収することができる。

また、単位動作の並びから、AIモデルが要素作業を自動で認識する。これにより「ねじを締める」など同じ要素作業が複数回存在する場合でも、全体の作業順を考慮して最適に要素作業を検出することができる。

今回、ネットワーク機器の製造拠点である富士通アイ・ネットワークシステムズの山梨工場において、部品セット、組み立て、外観検査の3つの作業工程の分析に開発した技術を適用し、評価を実施した。

いずれの工程も1人分の要素作業の分割データを学習させるのみで、同一作業を撮影した別の映像においても、作業員や撮影環境などの差異を吸収しつつ90％以上の精度で要素作業を自動検出でき、これまで手作業で行っていた分割作業が不要となり、作業時間を短縮できることを確認した。これにより、カイゼン活動のサイクルをより頻繁にまわすことができ、作業の効率化や技術伝承の加速を支援する。