NEC、既存の映像からでも人の視線を検出できるアルゴリズムを開発

NECは、NECのAI技術群「NEC the WISE」の1つとして、街中や店舗などの既存のカメラで、離れた場所からでも人の視線の方向をリアルタイムに検知できる「遠隔視線推定技術」を開発した。

従来、視線の検知は、赤外線ライトとカメラが一体となった専用装置を用いて、近距離から赤外線ライトを目にあてその反射の方向により検知を行っていた。本技術は、NECの顔認証技術の中核となる顔特徴点検出技術(注1)を用いて、視線検知に必要な目頭や目尻、瞳など目の周囲の特徴点を正確に特定することで、通常のカメラのみで上下左右5度以内の誤差で高精度な視線方向の検知を実現したものだ。

低解像度や明るさの変化への対応強化により、カメラと対象者が10ｍ離れた位置からでも視線検知が可能であり、高速計算可能な特徴量抽出技術により、これまでは困難だった複数人の視線方向の同時検知も可能だ。

NECは本技術を、通行人の視線の動きから、街中における避難・誘導標識の最適な配置や不審者の監視といった安全・安心に関わる用途への応用とスーパーマーケットなどの店舗にいる顧客やデジタルサイネージに注目している顧客の視線の動きから、人気商品や人気コンテンツの推定といったマーケティング用途としての応用も視野に実用化を進めている。

背景

安全・安心な社会の実現に向けた街中の監視やマーケティング戦略の立案に向けた顧客のニーズ調査において、人が何を見ているかがわかる視線検知の開発が注目されている。従来、人の視線の方向は、赤外線ライトを目にあてその反射の方向により検知するものが多かったが、赤外線ライトとカメラが一体となった専用装置が必要となり、通常のカメラで撮影された映像からは高精度に検知できないことが課題となっていた。

今回開発された「遠隔視線推定技術」は、NECの顔認証技術の中核となる顔特徴点検出技術を用いることで、通常のカメラのみで、離れた場所からでも複数人の視線の方向をリアルタイムかつ高精度に検知できる。

新技術の特徴

通常のカメラのみで視線検知が可能

NECが培ってきた顔特徴点検出技術を応用し、視線の検知に重要な目頭や目尻、瞳など目の周囲の特徴からカメラ方向に対する視線の角度を算出する独自のアルゴリズムにより、カメラで撮影された映像から視線を高精度に推定可能。これにより、専用装置が不要になり、Webカメラ、監視カメラ、タブレット、スマートフォンといった通常のカメラでも高精度な視線検知を実現している。

離れた場所からでも視線推定が可能

従来、カメラと対象者が数ｍ離れた場所から視線検知を行う場合、解像度が低くなるため、目の周りの特徴点を捉えるのが難しく、正確な視線検知が困難だった。今回、NECが開発した「遠隔視線推定技術」は、低解像度な画像の学習強化などを行った顔特徴点検出技術を適用し、低解像度に強く明るさの変化にも対応可能としている。これにより、10ｍ離れた場所でも人が注視している方向を検知でき、スーパーマーケットなどの店舗で顧客が注目している商品を自動認識するなどの用途に利用ができる。

複数人の視線を同時に推定可能

高速に計算可能な特徴量抽出技術により、検知精度を落とすことなく１人あたり１ミリ秒以下で視線の算出が可能。これにより、カメラに複数の人物が写っている場合でも、全ての人の視線を同時に測定することができるため、例えば、デジタルサイネージの画面上で観客ごとに注目しているコンテンツをリアルタイムで把握し、広告効果測定などの用途に利用ができる。

(注1)
顔特徴点検出技術：顔矩形領域から瞳中心、鼻翼、口端などの特徴点の位置を探索する技術。特徴点周辺輝度パタンを用いて最適な位置を探索しつつ、顔形状モデルにより特徴点配置に制約を加えることで、精密に特徴点位置を求めることが可能。

【関連リンク】
・日本電気（NEC）