FRONTEO、文書レビュアーの作業品質に対するAI評価指標を開発

企業が管理するデータ量は年々増加しており、デジタルフォレンジック（デジタルデバイスに記録された情報を対象とする情報保全・分析調査）に関わる弁護士にとって、時間、費用、調査品質が課題となっている。

その中でも、関連情報を発見するプロセスである文書レビューは、時間と費用の7割を占めると言われ、AIの活用が欠かせない。

そうした中、株式会社FRONTEOは、自社開発したAIエンジン「KIBIT（キビット）」を搭載したAIレビューツール「KIBIT Automator」を提供している。

「KIBIT Automator」は、弁護士の判断を学習したAIエンジン「KIBIT」が、証拠に関連のある文書と関連のない文書を分類することにより、人によるレビューが必要な文書量を削減するツールだ。

そしてFRONTEOは本日、「KIBIT Automator」に実装する、レビュアーの業務品質の定量評価に役立つ新たな指標の開発に成功したことを発表した。

この指標は、業務品質をAIにより数値で自動測定し、業務品質の向上に効果的な管理や施策を行うことを可能にするものだ。

従来、レビュアーの業務品質の定量評価は、Overturn Rateという担当した文書数のうち、再レビューにより文書分類にミスのあったことが判明した文書数の割合を用いて行われてきた。

しかし、この方式では、例えば担当した文書数以外の条件（文書の種類・難易度・証拠に関連のある文書が含まれている率）が同じ環境下において、20文書のうち5文書にミスがあった場合と、200文書のうち50文書にミスがあった場合では、後者の方が高い信頼度でミスが多いと判断されるべきだが、どちらにおいても同じ25%という数字に評価される等の問題があった。

そこで、FRONTEOは、文書レビューのオペレーションにおける計測可能な数値群を統計学的に扱い、Quality Control（以下、QC）と呼ばれる文書レビューの品質チェックを受けた文書数に対するミス文書数の割合に修正することにより、上記の問題を解決し、新たな評価指標を生み出した。

この評価指標を独自開発のAIで自動算出することにより、文書レビューにおけるレビュアーのレビュー品質を、より正しく評価することができるようになった。

上記の例において、新方式では、後者の方が前者より3倍問題視される。しかし、50文書ものミスの原因がQC文書数の多さによるものであれば、3倍より小さい値に自動で補正される。

この結果、例えば、QCを行う正確な（Overturn Rateの低い）QCレビュアーや、正確さに問題のある（Overturn Rateの高い）注意対象レビュアー等、文書レビュー品質の管理と向上において重要なレビュアーの候補を、より正しく選定することができる。

下図は、FRONTEOのテストデータを用い、実際に従来方式と新方式により算出したOverturn Rateを比較したものだ。