NTT、AIが2019年センター試験英語筆記科目で185点を獲得

日本電信電話株式会社（以下、NTT）のコミュニケーション科学基礎研究所（以下、NTT CS研）は、機械翻訳や情報検索、対話処理などに応用可能なコンピュータによる自然言語処理、知識処理の基礎研究に取り組んでいる。

大学共同利用機関法人情報・システム研究機構国立情報学研究所（以下、NII）は、1980年以降細分化されたAI分野を再統合することで新たな地平を切り拓くことを目的に「ロボットは東大に入れるか（以下、東ロボ）」プロジェクトを中心となって発足した。

具体的には、センター試験や東京大学の第2次学力試験を用いて、人間が実際に解く問題をAIがどこまで解けるのかを明らかにすべく研究活動を進めている。この中で、英語問題は、自然言語処理、知識処理の統合的な問題を多く含んでおり、NTT CS研では、「東ロボ」プロジェクトを自然言語処理、知識処理の基礎研究を進めるベンチマークと捉え、センター試験に含まれる多様な英語問題に対する自動解答に関する知見を積み重ねてきた。

一方、近年深層学習に基づく文書読解技術が急速に進展している。XLNet（※1）は、大規模テキストによる事前学習を行ったベースモデルに、問題の性質に合わせた転移学習（※2）を施すことで、異なる種類の問題を比較的少量のデータから効率的に解くことを可能にしていえう。しかし、学習に利用できるデータが大きく不足している問題や、解答に辞書的な情報が不可欠な問題では、十分な精度で解答することが困難だった。

今回、XLNetでは解答が困難であった、不要文除去・段落タイトル付与・発音問題で、NTT CS研を中心とした東ロボ英語チームの独自技術を適用し、2019年センター試験の英語筆記本試験で、185点（200点満点、適用前154点）、偏差値64.1（独自技術適用前57.0）を達成した。また、同じ技術を過去3年間のセンター本試験・追試験に対して適用した結果も、偏差値60以上を達成したと発表した。

技術のポイントは以下の通り。

自動的に作成した疑似問題を用いた不要文除去問題の高精度化
機械学習では、正解・不正解となるデータの双方を入力することで、適切にそれらを分類するモデルを学習する。しかし、文章から不要な文を見つける不要文除去問題は、比較的新しい問題で、通常の文章には不要な文が含まれないため、学習に用いるデータを集めることが難しいという問題点があった。そこで、不要文を含まない通常の文章から、文の順序を組み換えて擬似的に不自然な流れの文章を作成することで、大量の不要文除去問題を自動作成する手法を考案した。これにより、15問全てに正答することができた。
段落タイトル付与問題の自動解答
段落タイトル付与問題は、文章中の各段落の内容を表すタイトルを選択肢から選ぶ問題だ。この問題を解くには、段落中の各文それぞれを理解し、文章全体が表す内容を大まかに把握、文章全体の構造を理解することが重要だ。構造が特殊な問題であるため、XLNet等の文書表現技術をそのまま適用することはできない。そこで、各段落と選択肢の類似度を計算し、最適な段落・選択肢の組み合わせを導く手法を考案し、5問全てについて正答することができた。
アクセント・発音問題に対する辞書を活用した自動解答
センター試験では、実際の受験生の能力を測るため、アクセント・発音問題、穴埋め問題、長文読解と幅広い種類の出題がなされる。NTT CS研ではこれらの問題に2014年より継続的に取り組んでおり、各問題を解答する上で最良の手法の組み合わせの検討や、独自の問題作成を進めてきた。現在の深層学習による文書読解技術では対応できない発音の正しさを選ぶアクセント・発音問題には、深層学習ではなく、あえて発音辞書を地道に調べる方法を適用し、表記ゆれを抑える工夫や問題解析器の精度を高めたことで、ほぼ満点の成績を得られた。

これらの英語問題における技術的な前進は、岡山県立大学　菊井玄一郎教授、秋田県立大学　堂坂浩二教授、大阪工業大学　平博順准教授、電気通信大学　南泰浩教授、工学院大学　大和淳司教授らとNTT CS研との共同研究によるものだ。

これまでの研究を通して様々な課題が明らかになった。例えば、生活資料（チラシや広告）などの複数の情報からなる文書の理解や、グラフや表の読解、会話の流れの理解については、未だ安定した自動解答は実現できていない。今後、このような、言語以外の情報や実世界の常識的知識が強く関わるタイプの問題に対応するため、関連する基礎研究の推進とその統合を進める。

さらに、東ロボの取り組みを通じて、文脈を理解し常識・専門知識の双方を備えた対話や質問応答を実現して、様々なサービスに展開するとした。

※1 深層学習による文書表現技術の一種。極めて大規模なテキストデータを用いた単語の並び情報をもとに文書の的確な表現を獲得できる。対象とする課題のデータが少量であっても、これらの表現をもとに学習を行うことで、数多くの自然言語処理の課題で最高レベルの性能が達成されている。
※2 あるデータで学習したモデルを他のデータでも利用可能とするような学習のこと。ドメイン適応やファインチューニングともいう。XLNetなど大規模なテキストデータから得られた文書表現のモデルをセンター試験などの特定の問題を解くために利用することは転移学習の好例である。