"声"を解析し、人の気分がわかる。スマートメディカル取締役下地氏インタビュー

声をコンピュータが解析し、自分の気分の状態がわかるテクノロジーがある。そのテクノロジーはEmpath（エンパス）という。

このEmpathを開発したスマートメディカル株式会社は、生活動線上の拠点である駅に多診療化クリニックを開業してプラットフォーム化するサービスの提供および、医学、工学のエビデンスに基づく技術を開発・提供する、医療・健康事業領域を手掛ける企業だ。

今回、スマートメディカル株式会社取締役 ICTセルフケア事業本部長東京大学保健・健康推進本部研究員下地貴明さんにお話を伺った。

左：スマートメディカル株式会社取締役 ICTセルフケア事業本部長東京大学保健・健康推進本部研究員下地貴明さん／右：IoTNEWS代表小泉耕二

－なぜEmpathを開発したのでしょうか？

ICTを使ったヘルスケアで手薄なのは、メンタルヘルスでした。そこで音声から感情解析ができるメンタルヘルス対策のアプリを作ろうというのが、最初のスタートでした。

Empath は、38,000件強の音声データを持っていて、音のスピードや抑揚などのパラメーターをもとに独自のアルゴリズムを通して感情を解析しています。Empathに音声をインプットすると、リアルタイムで「平静」「怒り」「喜び」などの状態が出力されます。

私がEmpathの説明をする時はだいたい「喜び」が出力されます（笑）。一方、コールセンターでもこの記述を使ってもらっているのですが、オペレーターが受け答えに自信がない場合、不安を表す青色が出ます。

声をコンピュータが解析し、自分の気分の状態がわかる。スマートメディカル取締役下地さんインタビュー — 「喜び」が出力されている様子

元々は医療、ヘルスケアの領域で使っていこうとしている中で知見を集めてきましたが、徐々に色々な市場への製品展開が見えてきました。

2013年に、仙台市の仮設住宅を支援しているボランティアの方に、NTTドコモがタブレットPCを配布し、我々はその中にプロトタイプのアプリを入れました。そのアプリを使ってボランティアの方に毎朝、音声を取ってもらい、気分の上がり下がりを可視化しました。気分をチェックすることで、例えば、気分が下がっている際には早めに医師へ相談ができたり、仕事を早くあがれたりするなどのサポートを行いました。

この取り組みは、非常によい評価をいただくことができたので、ジャパン・レジリエンス・アワードという国土強靭化を推進する内閣府の外郭団体であるジャパン・レジリエンス推進協議会から最優秀レジリエンス賞をいただきました。
現在、大学との共同研究で、この精度や応用用途の範囲を広めています。今、私は、東京大学との共同研究に受入研究員として参加しているのですが、奈良先端科学技術大学院大学　ユビキタスコンピューティングシステム研究室の荒川先生とも色々とプロジェクトを進めています。

会議室で、色が変化するデモンストレーション

ここからは応用されている範囲の話なのですが、会議室でデモンストレーションをお見せしますね。実際にスマートフォンで音声を拾い、会議が盛り上がっているとオレンジ色になり、盛り下がっていると青色になります。気分の含有量の多さで色が決定されます。

去年の夏に渋谷のヒカリエでコクヨさんと一緒に、「未来の会議室」をコンセプトとして、アイディアブレストをしやすい環境を作るために、このutakata Mood Lightを展示しました。アイディアを想起させる単語のリストを壁一面に貼り付けて、Hueと連携しインタラクティブに照明が変わっていく演出をしました。Hueのランプオレンジ色（盛り上がっている色）になった瞬間のアイディアは満場一致で面白いだろうというゲーム要素を絡めることで、参加者の方に喜んでいただきました。

－今、会議室ではオレンジが出ましたが、赤は怒りですよね？中間色も表示されるのですね？

はい、そうです。それぞれの感情要素を混ぜた色が出るようになっています。また、結果のサマリーがグラフで出力できるようになっていて、どのタイミングが一番盛り上がっていたのかがわかります。上に行けば行くほど盛り上がっています。

－可視化されるとちょっと怖いですね。

そうですね。会議の盛り上がりだけをみればいいのか、という議論はあります。ブレストだと盛り上がった方がいいけれど、シリアスな数字の報告会で盛り上がりすぎてもダメですよね。どのような感情が出力されるとよい打ち合わせなのかという課題に対して大手オフィスメーカーと研究を開始しました。

また、コールセンターからの引き合いも多いです。ある企業様では、お客様からのクレームが多く、オペレーターがやめるケースが増えました。そこでこの技術をオペレーターのフォローに使えないかという相談がありました。気分の上下動の情報を取得できるので、「元気がなくなってきたな」という時に上席の方がフォローできる体制を作りました。電話越しではお客様が怒っているように聞こえるが、Empathを通したモニターで見ると、「実はそれほど怒ってない」という情報をリアルタイムで見ながらトークスクリプトを変更することにも活用いだいています。

じぶん予報

こちらがNTTドコモと一緒に進めている、「じぶん予報」というアプリケーションです。うちの会社ですでに活用し、朝来たら毎日声を吹き込むという作業をしています。ちょっとやってみますね。

「こんにちは」

ちょっと元気ですね。こんな感じで元気がいいと感情を表すキャラクターが右側に行って、元気がないと左側に行って青っぽくなるという抽象的な表現をしているのですが、音声からの気分解析を通してセルフチェックができるアプリケーションになっています。

少し面白い仕掛けを入れていて、天候情報をAPIで取得していてそれに合わせて、3時間ごとの天候情報をもとにこれからの自分の気分があがるのか下がるのか予報をしてくれるという仕組みになっています。15時までは調子いいけど、夕方から元気不足になるかも、などです。

－これは当たりますか？

けっこう当たってますね。なぜそれがわかるのかというと、ドイツに気象医学という学問があるのですが、そこでは気圧の変化や気候の変化、天候の情報に合わせて、快不快という軸で、天候がどう自分の気分に影響してくるのかという情報が天気予報と一緒にテレビで放映されたりしているんです。

気象医学ではどちらかといえば季節性のウツや花粉症などシーズナブルなものを予報するのですが、、気分状態に関しても気分のゆらぎと天候による快不快をもとに、データを取りためていくと、週刊自分予報というものがわかり、一週間の天気予報に合わせて、自分がどのような状態になるのかを予報してくれます。

例えば、来週の水曜日は調子がいいとわかれば、そこに打ち合わせを集中させましょう、という備えができます。

ただセルフチェックをするだけではなくて、サーバー側にデータを飛ばしているので、ブラウザから管理者や上長がチームの気分状態を見ることができます。弊社のデータになりますが、１週間の推移がわかるようになっています。

さらに、もう少し深堀りができるようになっていて、部署ごとのデータが見られるようになっています。たとえば、私がいるICTセルフケア事業部では最近は平たんですが、3か月くらいの推移で見てみると、なぜか金曜日に気分が下がるという傾向が出ています。面白いことに、別のチームは、金曜日の調子がいいというデータがでています。

―こんなことまでわかるんですね。

今後、厚生労働省のストレスチェック制度がはじまり、50人以上の事業者は１年に１回、ストレスチェックを受けないといけなくなりますが、それにも対応ができるアプリとなっています。ただ、１年に１回のチェックではそれ以外の期間のストレス具合がわかりませんので、一年分の面倒を見ましょう、というサービスがじぶん予報なんです。

このサービスでは順天堂大学の谷川武教授による指導、監修のもと、職場のストレス状況の組織分析も行えます。

ストレスチェックというと、悪いところを見つけるといったような消極的な世界になってしまうのですが、我々はどちらかというと積極的なメンタルヘルス対策をしたいと思っていて、元気度と生産性および作業効率との相関を調べています。特に飲食店や、コールセンターなど、従業員のモチベーションがそのまま店舗の売上げや生産性に跳ね返る業種が多くありますので、気分と売上げとの相関を今研究しているところです。つまり、じぶん予報を使って攻めのメンタルヘルスができるのではないかと思っています。

現在、東京大学の、大学院医学系研究科公共健康医学精神保健学分野の島津明人先生がワークエンゲージメントという研究をされていて、島津先生と一緒にワークエンゲージメントに関するコンソーシアムを立ち上げさせて頂きました。

ストレスチェック制度がはじまり、メンタルヘルスに対しての注目は増えてきたのですが、このことをきっかけにメンタルヘルスに対する消極的な考え方を変えたいと思っていますし、積極的な攻めのメンタルヘルスの推進は弊社の事業ドメインと合致していると思っています。

そしてEmpathを活用し、様々なアプリケーションを作っています。例えば、採用の評価システムの中に気分解析記述を混ぜ込むことで、少しストレスフルな質問をした際に受験者がどのような気分状態を示すのかを可視化するアプリ、可愛い女の子のキャラクターと話をすることで元気がどうかをチェックする治験の被験者獲得用のプロモーションアプリ、さらに調剤薬局のお薬手帳と一緒に簡単に気分がチェックできるアプリケーションなどです。

昨年まではネイティブアプリ中心に開発を進めてきました。今年からはJavaScriptを使用したプログラムを開発したので、Webアプリケーションに簡単に組み込めるようになりました。そのため多くの企業やディベロッパーとの協業が加速すると思っています。11月初頭、ディベロッパー向けにWeb Empath APIのクローズドβ版をリリースしました。

－いつ頃オープンになるのでしょうか？

現在は、ユカイ工学、LIGなど5社ほどに使っていただいています。ようやくAPI配布の準備ができたので、年内は範囲を限定して配布をしますが、来年2月を目処に、広く配布を予定しています。

－どのような値が出てくるのでしょうか？

平常、怒り、喜び、悲しみ、という値と、元気か元気ではないかという値が出力されます。

－デバイスが必要なく、Webブラウザ上でできるのでゲーム会社さんなども扱いやすいですね。

そこは狙いました。うちの技術は見てもらうまでは、「ほんまかいな？」という話なので、これだけみておいてね、と使うことができます。

－3万件のデータを入れた時はどのように紐づけているのでしょうか。

自分が怒っていますという発話者自身による評価のデータと、評価者が発話を聞いてどう感じたか、というデータを見ています。評価者10人が10人とも怒っています、という評価を与えたデータはチャンピオンデータといって、そうしたデータに関しては明らかに怒っているという重みづけをしています。

－そこは学習させているのですね。

そうですね。今はクラウド側でデータを取りためて、そこにラベルを付けられるようなインターフェイスがあるので、サンプル音声にラベルがつくことでより精度があがっている状況です。

プラスアルファで、キャリブレーション機能というのをつけていて、高い声の方、低い声の方といったように発話者ごとの特徴があると思うのですが、そうした個人的特性ともともとある母数としての音声サンプルとを比較をして、差分を見ながら修正していくというサービスも実装中です。

これができると、スマートフォン自体がより私のことをよくわかってくれる、という世界になっていきます。

－例えば、Amazon Echoなんかと組み合わせて、声が沈んでいたら「沈んでるけど大丈夫？」と言ってくれるようなサービスができれば、いいですよね。

そうですね。ようやくセンサーができあがってきたので、次のステップへ進めると思っています。我々が超えなければいけないのは、センサーで取ったデータをどう使っていけばいいのか、どう判断し、何をすることでよりよい世界になるのか、という介入のプログラムを構築することで、そこまでわかってくれば効果的なソリューションが提供できると思っています。

これからは、様々な専門の方々とタッグを組んでやっていきたいと思います。