富士通研究所とカーネギーメロン大学、小規模な学習データでAUを検出するAI表情認識技術を開発

近年、顔映像から表情変化を捉え、人の感情を推定する技術が注目されている。これまでは、喜怒哀楽など、口角や目じりが大きく動く明確な表情変化を対象とした技術が開発され、撮影動画のハイライトシーンの自動抽出や人の感情に応じて動作を変える応対ロボットなどの用途で実用化されている。

人の感情を高度に推定するには、納得や戸惑い、ストレスなど、こまやかな表情変化を捉えることが重要となる。近年、このようなこまやかな表情変化を扱うために、解剖学的知見に基づき、顔面の各筋肉に対応づいた動きの単位として定義されたAction unit(以下、AU)の活用が進み、心理学研究やアニメーションの生成など様々な分野で利用されている。

AUは、眉が下がる・頬が上がる、といった顔面の各筋肉の動きに基づいて約30種に分類され、これらのAUを組み合わせることで、喜怒哀楽に加えて、こまやかな表情変化も捉えることができる。

一般的にAUの検出にはディープラーニングが使われるため、ディープラーニングのための大規模な学習データの準備が必要となる。特に、実際の環境では、様々な角度・大きさ・位置の顔がカメラで撮影されるため、それぞれに対応した大規模な学習データを準備することが難しく、結果として十分な検出精度を実現するのが困難だった。

株式会社富士通研究所とFujitsu Laboratories of America Inc.(以下、米国富士通研究所)は、Carnegie Mellon University School of Computer Science(以下、カーネギーメロン大学コンピューターサイエンス学部)と共同で、AUごとに最適化された画像変換を用いて、小規模な学習データでAUを検出するAI表情認識技術を開発した。主な特長は以下の通り。

  1. 顔を正面から撮影した基準となる画像に近づける入力画像変換処理により、少ない学習データでAUを検出
  2. 同技術では、様々な角度・大きさ・位置で撮影された顔の画像に対して、顔を正面から撮影した基準の画像に見え方が近づくように、回転や拡大・縮小、平行移動などの変換処理を行う。これにより、大規模にそれぞれの顔の角度などに対応した学習データを準備することなく、小規模な学習データでもAUを検出することができる。

  3. AU検出に影響する領域をAUごとに分析
  4. 変換処理では、画像における顔の複数の特徴点が、基準となる正面の顔の画像における特徴点の位置に近づくように変換を行うが、特徴点を顔の部位のどこに設定するかによって、回転や拡大・縮小、平行移動の量が変わってくる。例えば、特徴点を目の周辺と設定して回転処理を実行すると、目の周辺は基準の顔の画像に近い位置となるが、口などの部位は基準の顔の画像とずれた位置になる。

    そのため、撮影された顔の画像から、AU検出に影響の大きな領域を分析し、その領域周辺の特徴点が、基準の顔の画像の特徴点の位置に近づくように、回転や拡大・縮小、平行移動の量を調整する。基準の顔の画像の見え方に近づける変換処理を、AUごとに調整することで、AUを検出する。

これにより、普段の動作で生じる様々な顔の向きや角度においても、苦笑いや喜びの驚き、戸惑いを感じた際などの細かい表情変化を検出できる。今後、遠隔業務でのコミュニケーションや社員のエンゲージメント測定、ドライバーの運転の様子の見守り、工場作業者のモニタリングなどへの適用が期待できる。

なお、同技術により、表情データセットFERA2017(Facial Expression Recognition and Analysis Challenge 2017)に対して、81%という検出精度を実現した。

プレスリリース提供:富士通研究所

Previous

オルツテクノロジーズとフォー・フュージョンが業務提携、AIエンジン「NeoRMR」を適応したプラットフォーム「Zendesk」の販売開始

日立、AIで医薬品・医療機器の費用対効果評価の解析を支援する「Hitachi Digital Solutions for Pharma/医療経済評価ソリューション」提供開始

Next