富士通研究所、ディープラーニングを活用して正しい手洗い動作を判定する映像認識AI技術を開発

近年、細菌やインフルエンザ、新型ウイルスなどの感染から人々の健康を守る対策として手洗いの重要性が世界的に再認識されている。厚生労働省では、食中毒や感染症の予防に効果的な正しい手の洗い方6ステップの実施を推奨している。

富士通研究所、ディープラーニングを活用して正しい手洗い動作を判定する映像認識AI技術を開発
正しい手の洗い方6ステップ
現在、食品事業者においては、正しい手の洗い方6ステップの実施とステップごとにあらかじめ規定した回数以上の手のこすり実施を確認する方法として、チェック表記入による自己申告や監視員による目視確認を行っている。

しかし、人手による確認のため、漏れや監視員のリソース確保など管理コストが大きいといった問題が発生している。また、近年、食品事業者を含む多くの製造現場では目視による様々な検査を機械学習やディープラーニングを用いた自動検査へ移行しており、この手洗い動作の確認についても自動化のニーズが高まると予測される。

さらに、2020年6月に施行予定の「食品衛生法等の一部を改正する法律」により、HACCP(※)に沿った衛生管理を実施することが義務付けられ、手洗いが正しい方法で実施されているかを確認できる体制づくりが急務となっている。

そのような中、近年発展している手や指の動作を認識する技術として、ディープラーニングを使ったハンドジェスチャ認識技術が注目されている。この従来の技術は、手が写った画像から指の関節や指先といった手に含まれる複数の特徴点を検出し、その特徴点の位置関係をもとにハンドジェスチャを判定する。しかし、手洗い動作は両手が重なる・手の上に泡があるという条件下で行うため、手指の特徴点が正確に検出できず動作の認識が正しく行えないという課題があった。

富士通研究所、ディープラーニングを活用して正しい手洗い動作を判定する映像認識AI技術を開発
従来のハンドトラッキング技術(左:ジェスチャの認識結果、右:手洗い動作に適用した結果)
株式会社富士通研究所と富士通研究開発中心有限公司(以下、FRDC)は、カメラで撮影した映像から複雑な手洗い動作を認識するAI「行動分析技術 Actlyzer 手洗い動作認識」を開発した。

同技術は、富士通研究所とFRDCが独自開発した映像から人の様々な行動を認識するAI「行動分析技術 Actlyzer」に手指動作の認識機能を拡張したことで、厚生労働省が推奨する正しい手の洗い方6ステップの実施と各ステップの手をこすった回数を自動で認識することができる。具体的には、手洗いの複雑な手指動作を両手の形状とこすりの反復動作の組み合わせとして捉え、「両手形状認識」と「動き認識」の2つのディープラーニングエンジンにより検出する。

両手形状認識エンジンは、両手を重ねる手指動作の代表的な形状である両手基本形状を規定し、それらをあらかじめ学習した学習済みモデルを用いて映像の各フレームに対して手形状を判定する。全体の形状に着目することで、手の重なりや泡で指先や関節の特徴点を検出できる。また、データ変化を追跡できる富士通研究所のAI技術「High Durability Learning」を適用し、現場での運用中に変化するカメラ位置や照明に対しても両手基本形状の認識を可能とした。

動き認識エンジンは、連続フレームから周期的に変化する動きを検出する学習済みモデルを利用し、反復パターンとその周期から反復回数をこすり回数としてカウントする。両手形状認識エンジンで認識されたステップに合わせて判定すべき動きの大きさの閾値を設定し、泡の動きやこすりに関係しない手の揺れなどの誤った周期の検出を防止する。

これら2つの認識エンジンによる結果を相互にフィードバックすることで、認識精度を向上している。

富士通研究所、ディープラーニングを活用して正しい手洗い動作を判定する映像認識AI技術を開発
複雑な両手指の動作を両手の全体形状と動きパターンの組み合わせとして認識
今回、人やカメラ位置、石鹸の種類など約2000のバリエーションを持つ手洗い映像データセットを撮影・収集して学習と評価を行った結果、正しい手の洗い方6ステップにおいて95%以上の平均判定精度で動作認識でき、手をこすった回数の判定精度が90%以上であることを確認した。現場で運用する際には、ステップごとに規定のこすり回数が実施完了と判定されるまで手洗いを行い、システム側で実施時刻などの情報と合わせて自動で記録することで実施漏れをなくす。

同技術により、食品業界をはじめ医療や教育現場、宿泊・イベント施設など衛生管理が必要な現場における手洗い実施確認を自動化し、目視確認と手作業による記録の工数削減を実現する。また、誤った手洗い方法では正しい手洗い動作として認識されないため、誰もが等しく正しい手洗いを身につけられる教育効果や平準化効果も期待できる。

正しい手洗い動作を判定する映像認識AI技術を開発

※ HACCP:事業者が食中毒菌汚染等の危害要因を把握した上で、原材料の入荷から製品出荷までの全工程の中で、危害要因を除去または低減させるために特に重要な工程を管理し、安全性を確保する衛生管理手法。先進国を中心に義務化が進められている。

プレスリリース提供:富士通研究所

Previous

エコモットと若築建設、既設のクレーンカメラの映像から作業員を検知するエッジAI画像解析システムを開発

オーリック・システムズ・ジャパンのビッグデータ分析基盤「Pivotbillions」、540億件の位置情報データから移動パターンを抽出可能に

Next