人は、肌の色・質感などのわずかな違いを瞬時に読み取り、顔や肌の印象を感じ取る。花王株式会社は、肌を美しく魅せるメイクアップ化粧品を提供するため、これまで見た目の肌印象を評価するさまざまな手法を開発し、化粧品開発に応用してきた。しかし、多様で繊細な肌印象の違いを人の目と同じレベルで評価することは難しく、また特殊な装置を必要とするため測定が容易ではないという課題があった。
花王株式会社メイクアップ研究所は、AI技術のひとつであるディープラーニングを用いて、肌の見た目の印象を客観的・定量的に評価し、さらに画像化する「肌評価AI」を開発した。
画像解析に強いとされるディープラーニングは、顔画像を入力すると年齢などを予測するAIを構築できることが知られている。花王は、ディープラーニングのモデルに、年齢ではなく「素肌らしさ」など肌のさまざまな見た目印象を評価するように学習させることで同AIを構築できるのではないかと考えた。
しかし、このAIには顔画像のどこを見て判断しているかがわからないという欠点がある。AIは、入力された画像全体から線、点、角度、周波数などさまざまな情報を抽出し、複雑な計算を繰り返して最終的な評価結果を導き出すが、花王は、そのAIの評価が髪、眉、唇など肌以外の情報に影響されている可能性を懸念した。そこで、肌以外の要素を極力排除するため、顔全体ではなくもとの顔画像から小領域を切り出した画像「肌パッチ」を用いる方法を検討した。
まず、化粧感を評価するのに最適な肌パッチのサイズを検討した。20~70代の日本人女性269名の素肌と化粧肌の顔画像を同一の撮影装置で撮影し、8.9×8.9mmから44.5×44.5mmまでの異なるサイズで切り出してデータセットを構築した。
肌パッチサイズごとに、素肌と化粧肌を判別するAIモデルをつくり、それらを学習用画像とは異なる撮影装置・照明条件で撮影した素肌・化粧肌の顔画像に適用し、判別精度を評価した。その結果、17.8mmの肌パッチで学習したモデルの精度が最もよいことが判明した。
このAIは、肌パッチ画像からさまざまな肌特徴を解析し、判別の根拠となる素肌/化粧肌らしさを示す数値を、1枚の肌パッチごとに出力する。その肌パッチの結果を統合すると、顔全体の肌の印象を総合評価したり、化粧感の分布を画像化したりすることが可能となる。
今回構築した手法は、肌パッチデータセットや学習方法を調整することで、化粧感評価以外にもさまざまな応用に活用できる。花王では、肌年齢の推定、化粧くずれの程度などの評価を行なうAIモデルをこの技術を応用して構築している。
たとえば、「化粧くずれ度評価AI」では、化粧くずれが鼻、頬、額など皮脂が出やすい部位から進行すること、化粧持ち効果を狙って設計した化粧下地は明らかに皮脂による化粧くずれを低減させていることなどを容易に画像化することが可能だ。
異なる化粧下地を使用した上に同一のファンデーションを塗布し、直後、4時間後、8時間後、10時間後の化粧状態を撮影。
画像をAIで解析し化粧くずれ度を可視化
無料メルマガ会員に登録しませんか?

IoTに関する様々な情報を取材し、皆様にお届けいたします。