従来の言語モデルである特化型言語モデルは、各ユースケース(Q&Aや対話等)に対して、自然言語処理エンジニアが個別に学習する必要があった。
一方、汎用言語モデルは、OpenAIが開発したGPT(※1)や、GoogleのT5(※2)に代表される言語モデルで、新聞記事や百科事典、小説、コーディングなどといった膨大な言語データを学習させた言語モデルを構築し、その上でコンテキスト設定を行うためのFew-Shot learning(※3)を実行するだけで、さまざまな言語処理(対話、翻訳、入力補完、文書生成、プログラミングコード等)が可能となり、個々のユースケースを容易に実現できると期待されている。
LINE株式会社とNAVERは共同で、日本語に特化した超巨大言語モデル開発と、その処理に必要なインフラ構築についての取り組みを発表した。
超巨大言語モデルとは、膨大なデータから生成された汎用言語モデルのことで、AIによってより自然な言語処理・言語表現が可能となる。日本語に特化した汎用言語モデルを開発するにあたり、1750億以上のパラメーターと100億ページ以上の日本語データを学習データとして利用予定だ。パラメーター量と学習量については、今後も拡大するという。
また、現在の超巨大言語モデルは世界でも英語のみが存在・商用化しており、他言語の開発についても、ごく少数の取り組みが発表されているのみとなる。その理由の一つとして、高度なインフラ環境の必要性があげられる。超巨大言語モデルの処理には数百ギガバイトものメモリーが必要と考えられており、世界でも指折りの性能を持つスーパーコンピュータなど、高度なインフラ環境が必要となる。
そこで今回、同モデルを迅速かつ安全に処理できる700ペタフロップス以上の性能を備えたスーパーコンピュータを活用し、超巨大言語モデルの土台となるインフラの整備を年内に実現予定としている。
今後、同モデルは新しい対話AIの開発や検索サービスの品質向上など、AIテクノロジーブランド「LINE CLOVA」をはじめとするLINE社のサービスへの活用のほか、第三者との共同開発やAPIの外部提供についても検討予定だ。
※1 OpenAI「GPT(Generative Pre-trained Transformer)」:米国の技術開発会社OpenAIが2019年2月に発表した、文章生成に強い能力を持つ汎用型言語モデルに関する論文。その後2019年11月には15億のパラメーターをもつ汎用型言語モデル「GPT-2」をリリース。2020年5月に1750億のパラメータを持つ「GPT-3」の構想が発表され、 翌月にベータ版を公開、8月には商用化した。「GPT-3」は「GPT-2」と比較して圧倒的なデータ量を持つことにより、長文の文章生成能力が飛躍的に向上(キーワードからメール文生成や、話し言葉の質問から流暢な回答文を生成する、など)し、世界的に注目を浴びている。
※2 Google「T5(Text-to-Text Transfer Transformer)」:GPTと同じくトランスフォーマーと呼ばれる自然言語処理技術を用いるが、文章生成よりも翻訳、質疑応答、分類、要約などの文書変換処理を目的とした構成を採用している。入力(タスク)と出力(回答)の両方をテキストのフォーマットに統一して転移学習を行うことで、全てのタスクを同じモデルで解く。学習データを変更することで、同じモデルでさまざまなタスクが解けるとされる。
※3 Few-Shot learning:ブログの書き出しや、プログラミングコードの一部などを与えること。それをもとに、最もそれらしいと判断した文字列を生成する。たとえば、与えた言葉(「おはよう」)に対して、これまで学習した中から最もそれらしいと判断した文字列(「おはようございます」等)を返すといったことが考えられる。
無料メルマガ会員に登録しませんか?

IoTに関する様々な情報を取材し、皆様にお届けいたします。