近年、細菌やインフルエンザ、新型ウイルスなどの感染から人々の健康を守る対策として手洗いの重要性が世界的に再認識されている。厚生労働省では、食中毒や感染症の予防に効果的な正しい手の洗い方6ステップの実施を推奨している。
しかし、人手による確認のため、漏れや監視員のリソース確保など管理コストが大きいといった問題が発生している。また、近年、食品事業者を含む多くの製造現場では目視による様々な検査を機械学習やディープラーニングを用いた自動検査へ移行しており、この手洗い動作の確認についても自動化のニーズが高まると予測される。
さらに、2020年6月に施行予定の「食品衛生法等の一部を改正する法律」により、HACCP(※)に沿った衛生管理を実施することが義務付けられ、手洗いが正しい方法で実施されているかを確認できる体制づくりが急務となっている。
そのような中、近年発展している手や指の動作を認識する技術として、ディープラーニングを使ったハンドジェスチャ認識技術が注目されている。この従来の技術は、手が写った画像から指の関節や指先といった手に含まれる複数の特徴点を検出し、その特徴点の位置関係をもとにハンドジェスチャを判定する。しかし、手洗い動作は両手が重なる・手の上に泡があるという条件下で行うため、手指の特徴点が正確に検出できず動作の認識が正しく行えないという課題があった。
同技術は、富士通研究所とFRDCが独自開発した映像から人の様々な行動を認識するAI「行動分析技術 Actlyzer」に手指動作の認識機能を拡張したことで、厚生労働省が推奨する正しい手の洗い方6ステップの実施と各ステップの手をこすった回数を自動で認識することができる。具体的には、手洗いの複雑な手指動作を両手の形状とこすりの反復動作の組み合わせとして捉え、「両手形状認識」と「動き認識」の2つのディープラーニングエンジンにより検出する。
両手形状認識エンジンは、両手を重ねる手指動作の代表的な形状である両手基本形状を規定し、それらをあらかじめ学習した学習済みモデルを用いて映像の各フレームに対して手形状を判定する。全体の形状に着目することで、手の重なりや泡で指先や関節の特徴点を検出できる。また、データ変化を追跡できる富士通研究所のAI技術「High Durability Learning」を適用し、現場での運用中に変化するカメラ位置や照明に対しても両手基本形状の認識を可能とした。
動き認識エンジンは、連続フレームから周期的に変化する動きを検出する学習済みモデルを利用し、反復パターンとその周期から反復回数をこすり回数としてカウントする。両手形状認識エンジンで認識されたステップに合わせて判定すべき動きの大きさの閾値を設定し、泡の動きやこすりに関係しない手の揺れなどの誤った周期の検出を防止する。
これら2つの認識エンジンによる結果を相互にフィードバックすることで、認識精度を向上している。
同技術により、食品業界をはじめ医療や教育現場、宿泊・イベント施設など衛生管理が必要な現場における手洗い実施確認を自動化し、目視確認と手作業による記録の工数削減を実現する。また、誤った手洗い方法では正しい手洗い動作として認識されないため、誰もが等しく正しい手洗いを身につけられる教育効果や平準化効果も期待できる。
※ HACCP:事業者が食中毒菌汚染等の危害要因を把握した上で、原材料の入荷から製品出荷までの全工程の中で、危害要因を除去または低減させるために特に重要な工程を管理し、安全性を確保する衛生管理手法。先進国を中心に義務化が進められている。
プレスリリース提供:富士通研究所
無料メルマガ会員に登録しませんか?

IoTに関する様々な情報を取材し、皆様にお届けいたします。