近年、日本社会の急速なグローバル化に伴い、ビジネスでの議論・交渉などの場面、国際イベントの場面などリアルアイムでの意思疎通を可能とする同時通訳へのニーズが高まっている。このニーズに応えるため「自動の同時通訳システム」の実現が期待されている。
現在の音声翻訳技術は、発話者が一区切りの発話を完了したところで発話を停止し一区切りの文章を通訳する「逐次通訳」が用いられている。これに対して、「同時通訳」は話者の発話が終了する前から通訳者が発話の一部を訳出することを繰り返すものである。同時通訳は、逐次通訳と比較して発話内容が翻訳されて相手に伝わるまでの時間が短縮でき、さらに発話者が発話を中断する必要もないというメリットがある。
しかしながら、現在の音声翻訳技術は同時通訳には対応しておらず、加えて、文脈などの補足情報も反映することができないのが現状である。
総務省が2020年度より新規に実施する情報通信技術の研究開発課題「多言語翻訳技術の高度化に関する研究開発」の委託先として選定された凸版印刷株式会社、国立研究開発法人情報通信研究機構（以下、NICT）、マインドワード株式会社、株式会社インターグループ、ヤマハ株式会社、フェアリーデバイセズ株式会社の6団体に、社会実証を担当する団体として東日本電信電話株式会社（以下、NTT東日本）、ソースネクスト株式会社、株式会社KDDIテクノロジーの3団体を加え、合計9団体による「総務省委託・多言語翻訳技術高度化推進コンソーシアム」を設立した。
同コンソーシアムは、グローバルコミュニケーション計画2025の推進のため、既に実用化されている逐次通訳の技術を同時通訳の技術にまで高度化し、ビジネス等の場面での利活用を可能にすることを目指す。活動内容は、主に以下の3点の研究開発、社会実装を進めていく。
「自動同時通訳基盤技術」の研究開発
- 入力分割・要約・翻訳出力最適化技術（担当：NICT）
- 多様な情報源を活用した通訳精度向上技術（担当：マインドワード）
- 自動通訳性能評価尺度の確立（担当：インターグループ）
同時通訳実現に必要となる長い発話を翻訳可能な短い意味的まとまりに分割する技術、内容を要約する技術などを研究開発する。
通訳精度の向上を図るため、文脈、画像等、翻訳単位など様々な情報を紐付けて、AI学習により文脈理解、状況認識などを通訳に反映する技術を研究開発する。
自動同時通訳システムの性能評価のための、性能評価尺度および決定手法を研究開発する。
「自動同時通訳システム技術」の研究開発
- 自動同時通訳ユーザインタフェース（UI）技術
凸版印刷が、様々な状況における自動同時通訳システムの実用シーンを念頭におき、自動同時通訳システムの最適なユーザインタフェース技術を研究開発する。実施にあたっては、通訳ニーズが高い実社会の複数の分野・場面で実証を実施し、得られた知見などを同技術へフィードバックしながら繰り返し改善を図っていくアジャイル型の手法により研究開発を推進する。
令和2年度は、通訳ニーズが高いと思われる以下のシーンでの社会実証を実施する。
- アバター対話（担当：凸版印刷）
- 情報伝達（担当：NTT東日本）
- 対面・遠隔会話（担当：凸版印刷、ソースネクスト）
- 遠隔協業（担当：KDDIテクノロジー）
新しいコミュニケーションインタフェースであるアバターを活用し、美術館・博物館において、説明員から来場者に対する説明を実施。
字幕表示と通訳を組み合わせたシステムにより、自治体などから住民に対して一斉に行われる説明事項の表示や災害避難所での説明内容の伝達などを実施。
話者・聞き手の持つ端末から通訳結果をディスプレイ表示するシステムにより、教育機関における教員と保護者の意思伝達を実施するとともに、リアル環境・オンライン環境双方での講演会・会議における意思伝達を実施。
遠隔作業支援システムに通訳機能を追加し、生産現場などで作業員が装着するウェアラブルデバイスを介して、言語が異なる作業員へ遠隔地からの指示を実施。
また、ヤマハが、各話者個別にマイクを割り当てて独立に音声認識を行う条件において、話者外の音声や背景雑音が混入している場合でも適切に音声認識が可能となる技術を研究開発する。パネルディスカッションなど複数人が発話する環境、および、工場見学・展示会・観光地など背景音が混在する環境において、社会実証を通じて検証を行い、研究開発にフィードバックすることにより向上・改善を推進する。
フェアリーデバイセズが、自動同時通訳システムを実社会で広く利用できるようにするため、自動同時通訳に必須となるAI学習、検証・評価用のデータベースに基づく自動同時通訳プラットフォーム技術を研究開発する。
「自動同時通訳システム」の社会実装
上記の「自動同時通訳基盤技術の研究開発」と「自動同時通訳システム技術の研究開発」における研究開発成果が民間企業において製品化・事業化されるなど、自動同時通訳システムの社会実装につながるように進めるため、自動同時通訳技術が根付き利活用されるモデルを検討、試行する。