NTT株式会社は、セキュリティ事故対応やコールセンタ業務などにおける問い合わせ履歴から、熟練者の判断プロセスを約9割の精度で見える化するAI技術を開発した。
この技術では、全ての問い合わせ履歴をテキスト化し、LLMを用いて「質問」「提案」を抽出する操作を行う。
そして、抽出された「質問」「提案」に対して、同じ内容のものを統合する形で「統合質問リスト」「統合提案リスト」を作成する。
次に、問い合わせ履歴を対象に、「統合質問リスト」「統合提案リスト」をLLMに参照させながら、この対話が「統合質問リスト」に記されたどの質問とそれに対する回答だったかを辿り、「統合提案リスト」上にあるどの提案につなげる対話であったかを分析することで、質問、回答から提案に至るまでをフローの形で構造化する。
これを全ての問い合わせ履歴に対して行うことで、問い合わせ履歴を構造化フローに変換する。
さらに、各構造化フローにおいて、そこに出現する「質問または提案」から次の「質問または提案」への遷移を1ステップとし、その出現回数をLLMにカウントさせ、その出現回数が多いものが上位となるようなツリー構造に変換することによって、質問・判断フロー(フローチャート)を生成する。
なお、NTTはこの技術の精度を確認するための実験を実施し、熟練者の判断プロセスを約9割の精度で見える化することに成功した。
この実験では、自然言語処理技術の評価などに用いられる問い合わせ履歴と、それに対応するフローチャートに関する公開データセット「FloDial」を用いた。
「FloDial」に含まれる問い合わせ履歴から、今回の技術で作成したフローチャートと「FloDial」に含まれる正解フローチャートを用いて、それぞれのフローチャートにおいてすべての問い合わせ履歴を抽出し、同一のものであるかを判定した。
その結果、正解フローチャートにおける質問、提案のツリー構造を約9割再現できることを確認したのだという。
この結果は、明確な構造を持たない自由な自然言語による対話から、熟練者の判断フローを高い解釈性と視認性を備えたフローチャート形式で、精度よく抽出可能であることを示している。
今後は、実業務における問い合わせ履歴を用いることで、情報の欠落や対話の飛躍などがある場合においても利用可能なよう、抽出・見える化の精度向上を目指す計画だ。
また、同技術により抽出された熟練者の判断プロセスを見える化したフローチャートは、解釈性が高く、人手での修正も容易なことから、業務ノウハウの継承だけでなく、問い合わせ対応の自動化への応用も検討しているとのことだ。
属人化解消について詳しく知りたい方はこちらの記事も参考にしてください。
属人化とは?属人化が起きる原因やデメリット、デジタルを活用した具体的な解消方法などを解説
無料メルマガ会員に登録しませんか?
IoTに関する様々な情報を取材し、皆様にお届けいたします。