産総研・東工大、勉強会LLM-jpで計算資源ABCIを用いた生成AI開発開始へ

国立研究開発法人 産業技術総合研究所（以下、産総研）と国立大学法人 東京工業大学（以下、東工大）は、大学共同利用機関法人 情報・システム研究機構 国立情報学研究所（以下、NII）が主宰する勉強会LLM-jp（NII、東北大学、東京大学、早稲田大学などが参加するLLM研究開発チーム）において、大規模言語モデル（以下、LLM）の開発を始める。

まずは、LLM-jpが、従来の国産LLMの10倍の規模を持つ、1750億個のパラメタ数を持つLLMの構築に着手する。産総研は、LLM構築に必要な計算資源であるAI橋渡しクラウド（以下、ABCI）を提供するほか、今後の開発に向けて、東工大、LLM-jpと協力して、開発に必要な言語データ作成を行う。

今回の取り組みにより、オープンに利用できるGPT-3級の日本語LLMの構築を目指し、構築の過程が明らかで透明性の高いLLMを用いた、マルチモーダルなデータを処理するAI技術の開発や、生成AIのロボット応用等に貢献するとしている。

今後は、産総研の持つ計算資源を活用しながら、LLMの構築を目標に研究開発を進める。なお、構築される国産LLMは、ABCI以外の計算資源も活用しながらモデルを完成させた上で、LLM-jpを通じて公開される予定だ。

IoTNEWS編集部

IoTに関する様々な情報を取材し、皆様にお届けいたします。