国立研究開発法人 産業技術総合研究所（以下、産総研）と国立大学法人 東京工業大学（以下、東工大）は、大学共同利用機関法人 情報・システム研究機構 国立情報学研究所（以下、NII）が主宰する勉強会LLM-jp（NII、東北大学、東京大学、早稲田大学などが参加するLLM研究開発チーム）において、大規模言語モデル（以下、LLM）の開発を始める。
まずは、LLM-jpが、従来の国産LLMの10倍の規模を持つ、1750億個のパラメタ数を持つLLMの構築に着手する。産総研は、LLM構築に必要な計算資源であるAI橋渡しクラウド（以下、ABCI）を提供するほか、今後の開発に向けて、東工大、LLM-jpと協力して、開発に必要な言語データ作成を行う。
今回の取り組みにより、オープンに利用できるGPT-3級の日本語LLMの構築を目指し、構築の過程が明らかで透明性の高いLLMを用いた、マルチモーダルなデータを処理するAI技術の開発や、生成AIのロボット応用等に貢献するとしている。
今後は、産総研の持つ計算資源を活用しながら、LLMの構築を目標に研究開発を進める。なお、構築される国産LLMは、ABCI以外の計算資源も活用しながらモデルを完成させた上で、LLM-jpを通じて公開される予定だ。
無料メルマガ会員に登録しませんか？
IoTNEWSは、毎日10-20本の新着ニュースを公開しております。 また、デジタル社会に必要な視点を養う、DIGITIDEという特集コンテンツも毎日投稿しております。
そこで、週一回配信される、無料のメールマガジン会員になっていただくと、記事一覧やオリジナルコンテンツの情報が取得可能となります。
- DXに関する最新ニュース
- 曜日代わりのデジタル社会の潮流を知る『DIGITIDE』
- 実践を重要視する方に聞く、インタビュー記事
- 業務改革に必要なDX手法などDXノウハウ
など、多岐にわたるテーマが配信されております。
また、無料メルマガ会員になると、会員限定のコンテンツも読むことができます。
無料メールから、気になるテーマの記事だけをピックアップして読んでいただけます。 ぜひ、無料のメールマガジンを購読して、貴社の取り組みに役立ててください。
無料メルマガ会員登録
IoTに関する様々な情報を取材し、皆様にお届けいたします。
