富士通研究所、会話音声から顧客の満足や不満を特定する技術を開発

株式会社富士通研究所は、顧客と応対者の会話から、自動的に顧客が満足や不満を感じる箇所を特定する音声分析技術を開発した。

コールセンターや銀行窓口などの顧客対応現場では、応対者の対応が企業イメージに直結するため、応対者への教育が重要視されている。そのため、従来、音声認識技術により顧客との会話音声を文字に変換して顧客の満足感を把握する取り組みが行われてきたが、同じ言葉でも話し方によって満足と不満のどちらも表現される場合があり、言葉の内容だけでは満足感を十分に把握できなかったという。

今回、声の高さの平均や変化量だけでなく、話し始めや話し終わりといった複数の言葉をまたぐ音声データ中の相対的な位置における特有の変化を捉える手法によって、声の明るさを高精度に定量化することに成功し、これを応対評価と併せて機械学習を行うことで、会話中の満足や不満の箇所を人が聞いて判断した結果と比較して約70%の精度で自動的に特定する技術を開発。

同技術を活用した富士通株式会社および株式会社富士通エフサスのコールセンターでの実証実験により、応対者のモニタリング評価やその結果のフィードバックなどの教育にかかる期間を約30%減と効率化できるほか、評価の客観性が高まるため評価者と被評価者双方の納得性が向上することを確認したという。

開発された、声の高さの変化パターンから「声の明るさ」を定量化する技術の詳細は以下のとおり。

明るい声とは一般的に、声のトーンが高く、また声のトーンや声量が大きく変化する性質がある。さらに、富士通研究所独自の研究により明るい声には話し始めや話し終わりの声の高さの変化に特有の性質があることが分かったため、声の高さの平均や変化の分析に加えて、複数の言葉をまたぐ音声データ中の相対的な位置における特有の変化を捉える手法によって、声の明るさを高精度に定量化することに成功。

また、声の印象として知覚される「明るさ」と「満足感」には高い相関関係があるため、富士通研究所独自の調査結果に基づく変換式により、定量化した声の明るさから、会話中の満足感を定量化した。これと応対評価の結果と合わせて、機械学習を用いて満足や不満の判定閾値を学習することで、自動的に会話中の満足・不満箇所を特定する技術を開発。これにより、顧客が現場の応対評価の結果を用いて、現場ごとに判定基準をカスタマイズすることも可能になるという。

富士通研究所は、同技術を音声対話による自動応答サービスなど、富士通のデジタルソリューションやサービスに組み込むことで、顧客が不満と感じた場合の臨機応変な対応や、顧客が提供する商品の中で満足感の高い機能の情報を抽出しマーケティング分析に活用する、といった取り組みを進めていく。まずは、2016年度末より、富士通およびエフサスでのコールセンター関連サービスで商品化予定だという。

また、富士通研究所は、本技術を富士通のAI技術「Human Centric AI Zinrai（ジンライ）」の「感性メディア処理技術」を強化する技術として利用できるようにすることで、2018年度には銀行窓口や小売り・医療現場、教育現場など、様々な現場での活用に向け、製品化を目指すという。