声を解析し、コールセンターの生産性が向上　－スマートメディカル下地氏インタビュー

声の特徴から気分の状態を独自アルゴリズムで判定し、気分の状態がわかるアプリケーションEmpath（エンパス）を開発しているスマートメディカル。

IoTNEWSでは2015年11月に同社にEmpathの開発背景についてインタビューをしたが、その技術がコールセンターに導入され生産性の向上が確認されたり、BOCCOやTapiaなどのロボットに搭載されたりと、少しずつ広がっているという。今回も、スマートメディカル株式会社取締役 ICTセルフケア事業本部長　下地貴明氏に話を伺った。

前回のインタビュー
“声”を解析し、人の気分がわかるスマートメディカル取締役下地氏インタビュー

－ご無沙汰しています。前回のインタビューからアップデートした情報を教えてください。

前回、Empath（気分の状態がわかるテクノロジー）と、「じぶん予報」の話を差し上げたかと思いますが、そこから様々な業種業態に技術転用が広まっています。ドコモと「じぶん予報」を展開し、そこからロボティクスであったり、VRでの導入を行ったりしました。さらに、コールセンター業界でも成果が出てきています。

Empathのインターフェースも少し変わりました。上記のように折れ線グラフで出力し、横軸を時間、縦軸を感情の確度として、気分の推移を表しています。グラフの色については、それぞれ黄色が喜び、緑色が落ち着き、赤色が怒りや主張、青色が悲しみや戸惑い、白い実線が気分の活性度（元気度）を表しています。

1回の解析の中で、含まれている感情の割合を円グラフとして出力し、元気度を元に5段階の評価（A～Eまで）を出力します。ここでは、「C」判定と表示されておりそれなりに気分が高い状態でのプレゼンであったことを表します。元気度が高ければ高いほど、会議の評価が高いとし、会議の質の定量化手法として使っていただいています。

ロボティクスの事例としては、ユカイ工学のBOCCOと連携をさせたアプリケーションを作っています。子どもがBOCCOに対して、「ただいま」と言うと、元気かどうかをご両親のスマートフォンに通知し、子どもの見守りができるというものです。例えば、元気がなさそうだとわかると「早めに帰りますよ」と、スマートフォンからメッセージを送り、子どもを安心させることができます。

またMJI社のTapia（タピア）という見守りロボットにも入ることが決まりました。Tapiaは顔認識で個人を特定できるため、利用者の声を解析し「いつもより気分が落ちているよ」や「気分が上がっているよ」と言った具合に、利用者個人の感情の変化に合わせてトークスクリプトを変化させることが可能となり、人に寄り添う会話を演出しようとしています。

左：スマートメディカル株式会社取締役 ICTセルフケア事業本部長　下地貴明氏／右：IoTNEWS代表小泉耕二

－音声なのですよね？

はい、弊社は音声です。けっこうロボティクス関連からの引き合いが多く、音声インターフェースがこれから主流になってくると考えています。テキストの意味内容だけではなく、感情を取ることによって、ユーザのより深いインサイトや、いつもとどう違うのかという内容が取れていくので、今までとは違ったユーザ体験を作り出すことができると考えます。

－声で何か操作するというのはいままでになかったユーザ体験なので、注目されているようですね。

はい。テキストの認識に関しては巨人がたくさんいますが、音声からの感情解析に関しては競合が少ないため、そこに差し込んでいきたいと思っています。最終的にはAmazon Echoなどに入れていくと、いわゆる購買行動と感情というのはどういった形でリンクしていくかという世界が見えてくるのではと考えています。

そこが弊社の技術のゴールイメージになってきます。もちろん人の購買、マーケティングに使う部分もありますが、音声を発してもらわないとデータが取れないので、そういったときにロボットのような対話型のコミュニケーション手段を有していると、自然な発話を取得できます。もうひとつの方向性としてはやはり没入感のあるVRの世界も非常に相性がいいと思っています。

これはインテリジェンス社で使っていただいたのですが、坂本龍馬とバーチャル面接ができるものになっています。坂本龍馬がオープンクエスチョンにて質問、例えば「自己PRをしてください」と言うと、面接者がそれに対して「私はこれこれこういうものです」と答えます。テキストの意味・内容は取得せず、どれぐらい喜びが出ているかなどに反応し、喜びが多いと営業タイプ、冷静に話していると分析タイプといった形で仮想面接にて適正評価をしてくれます。

さらに、ニコ生で放送された人狼というゲームに入れ、プレイヤー同士の会話を解析し、プレイヤーの同様やいらつきなどを可視化して、視聴者側のみわかるという企画も実施しました。

－本人はわからないわけですね。

そうです。けっこう面白がって使っていただいた事例になっています。あと、Apple Watchの中にも組み込みました。EmoWatchというアプリケーションをリリースしたところ、北米でのダウンロード数が伸びました。きっかけになったのは、米国版TechCrunchの本紙に取り上げていただいたことです。

声を解析し、コールセンターの生産性が向上　－スマートメディカル下地氏インタビュー — スマートメディカル株式会社取締役 ICTセルフケア事業本部長　下地貴明氏

－日本のベンチャー企業で米国版に載る人はほとんど見かけません。すごいですね。

非常にうれしいです。EmoWatchというアプリ自体はApple Watchに話しかけるとどれぐらい元気かがわかるというものです。100点満点で評価されるというだけの単機能なアプリケーションなのですが、『TechCrunch』では、「なんでこんな単機能しか持っていないアプリケーションがアップルの審査通ったのかよくわからない。ただ、その裏側にあるエンジン自体が実はすごい」と書かれていました。この裏側にあるエンジンというのが、サーバ側で処理可能な、Web Empath APIです。これは様々なIoT機器で利用可能で、取得した音声を弊社のサーバに投げてもらうとJSONにて感情値を返すというAPIとなっています。

上記はブラウザ上で簡単に感情解析が体験できるサイトになっています。ビジネスで使うキーワードが出てきて、例えば「お世話になっております」と言うと、どれぐらい元気で台詞を発生できたかどうか、4段階で表示するというものになっています。

上述のサイトは解析に少し時間がかかるような演出をしていますが、ほぼリアルタイムで解析ができます。サンプルコードはWebRTCを使い、音声をhttpリクエストにて弊社のサーバに対し送り、JSONにて感情値を返すという仕様になっています。いま様々な企業に使っていただくためにキャンペーン価格で提供し、限定100社のところ、おかげさまで90社ほどの登録がありました（本キャンペーンは2016年9月末日に終了しました）。

－素晴らしい。

様々なセンサーデバイスを作る企業、弊社も含め悩みとして、「データを取ったが何になるのか？」という回答がなかなかしづらいというのがありました。しかし、テレマーケティングの領域でひとつ実績が出てきました。

コールセンターの中で使えるアプリケーションを提供しているのですが、ベネッセ子会社のテレマーケティングジャパンが博多のコールセンターの中で、特にアウトバウンドコール（営業電話）にて使っていただいています。

そちらで、われわれのアプリケーション使っているオペレーターが、使っていないオペレーターよりも優位に獲得率が向上したというデータが出ました。さらに、高い獲得率を誇るハイパフォーマーと呼ばれるオペレーターの方が、獲得率が低いローパフォーマーと呼ばれるオペレーターと比べると、「元気度・活性度」の値について14パーセントほど高いというデータが出ました。

感情がどれぐらい活性をしているかが、コールセンターの生産性に対して尺度となる、と、非常に相関をすることがわかってきました。また、コールセンターにおいて元気度・活性度が下がっていると辞めてしまうというデータも出てきており、その兆しをスーパーバイザーというが早めに知ることで「ちょっと今日は彼に声かけよう」というオペレーションを行うことで離職率の低位につながっています。

－ところで、日テレから出資を受けたそうですね。

はい。日テレグループがいま2016年から18年にかけて、生活健康関連事業で新しいサービスの立ち上げを明言しています。それに合わせて本技術自体にご興味があるという話と、弊社にて展開している医療モール事業との連携もしたいというのでご出資をいただく流れになりました。

第1弾としては、日テレホールディングスの子会社であるティップネとの業務提携をし、ティップネスからもご出資をいただています。ティップネス会員向けのアプリケーションの中に心と体をサポートする新サービスを作っている状況です。

－この技術は、難しく考えなくても純粋に「あ、面白いな」って思えます。それがいいですね。

いわば、要素技術としてはいろいろあるとは思うのですけど、未踏の領域というか、あまり競合のいない領域なので、「それがわかったら確かに面白いよね」というところのわかりやすさはひとつなのかと思います。

－2015年は画像解析の技術が一気に上がった時期なので、みんな画像解析に行っています。東大の松尾教授も「声や言葉って多分あとだ」とおっしゃっています。人間の成長と同じなので、まず視覚、次が動体。その次にようやく言語。

確かに感情解析自体が今トピックとして多くなってきましたが、表情解析が主立っています。もちろん学習させるデータが多いため表情解析が多いのかと思います。音声の場合は実時間があるので、なかなかサンプルとして集めるのが難しいという、ハードルがあるのかと思います。ただ、その分は競合が少ない領域で戦っているので、なおかつテキスト解析が多い中、感情解析のところでやらせていただけているというのは、ひとつのアドバンテージなのかと思っています。

－これは日本人が喜んでいるのと、外国人が喜んでいる感じは違いますか？

基本的にはほぼ同じです。もともと人間が全体的に持っている感情というのはあまり差がないと思います。ただ「どう聞こえるか」というのは別次元の問題で、例えば日本人からすると中国人は少し感情が出やすいように聞こえるかと思うのですけど、それは実際感情が出ているのだと思います。そう聞こえるのであればそうなんじゃないかという。コンピューターが人間と同じような感覚で感情を理解する耳をつけたというようにご理解いただければいいのかと思います。

弊社は、ネガティブな感情がわかって、それに対して対処していく事もやりたいですし、ポジティブな感情をどう引き上げていくか、サービスをより良くしていくためにどうするのかというのを育てていきたいと思っています。

－笑っていると元気になると聞きますので、介護ビジネスで「どんどん笑ってください」という流れに持っていけるといいかも知れないですね。笑っている時間が長い老人ホームはランキング高いみたいな。

実際、福島医大の大平哲也先生が笑いの研究をやられているのですけど、笑っている人は糖尿病のリスクが下がるという研究結果が出ています。楽しい気分とかそういったものは健常な方に対しては非常に効果・効用がかなり高いので、心の健康増進という意味合いでは突き詰めていきたいので、インターフェースもやはりそちらを意識して作っていきたいと思うのです。だから悪いとこ見つけるのではなくて、いいところをどう伸ばしてあげるか、ですね。対話のエンジンというかスクリプトになっていくと、ちょっといい世界が作れると思っています。