Facebook、ニューラル機械翻訳に完全に移行

IoTNews Global

フェイスブックのミッション「コミュニティの構築と世界のつながりをより密にする」を達成するには翻訳技術は欠かせないものである。しかし、大手企業にしても、現在フェイスブックを使っている200億人にシームレスかつ精度が高い翻訳サービスを提供するのは簡単ではない。

インターネットで使われている言語はスラングや若者言葉、誤字や略語などが多いという特徴があり、さらに従来の通り、翻訳をする時にコンテキストや意志を考慮すべきだ。フレーズベース翻訳技術はこのような要求を満たすのは難しく、得に語順が明確に違う言語の場合、同技術の限界は明らかになっている。

フェイスブックは原文のすべてのコンテキストを考慮するリカレントニューラルネットワークを採用し、もっと正確な翻訳の実現を目指した。このアプローチで、文章内に離れている単語の順を翻訳で変更できるようになり、もっと正確で自然な翻訳ができるようになった。

新しい技術の導入で、従来のフレーズベースシステムと比べて、機械翻訳精度の評価に使われるBLEU値は各言語の場合、平均で11％も増加を示した。

フェイスブックは独自のCaffe2というディープラーニングフレームワーク上で翻訳システムを実装した。翻訳システム開発中に開発された技術はCaffe2 の一部としてオープンソースコミュニティや研究者に提供されるという。
ニューラルネットワークの使用によって翻訳に利用可能なコンテキストの量が増え、将来にテキストに入っている写真や絵などもコンテキストの一種として使う可能性がある。さらに、フェイスブックは各言語対言語モデルだけでなく、複数言語に一気に対応できるモデルの研究を始めたという。

フェイスブックはフレーズベース翻訳からニューラル機械翻訳技術への移行を大事なマイルストーンであると考え、これからもニューラル機械翻訳技術を発展させる覚悟である。

Source:Facebook Engineering blog