NEC、130億パラメータの日本語大規模言語モデルを独自開発

日本電気株式会社（以下、NEC）は、生成AIにおける日本語大規模言語モデル（Large Language Model、以下LLM）を開発した。

今回発表されたLLMは、NECが独自に収集・加工した多言語データを利用し開発した汎用的なモデル、いわゆるファウンデーションモデルだ。

通常、高い性能を有するLLMは、多数のGPUを必要とするのに対し、このLLMは、パラメータ数を130億に抑えており、GPU1枚搭載の標準的なサーバで動作することができる。

これにより、消費電力の抑制や、軽量・高速のためクラウドおよびオンプレミス環境での運用が可能となる。

加えて、高い日本語能力が特徴だ。

自然言語処理分野で標準的なベンチマークである日本語言語理解ベンチマークJGLUEを用いて評価したところ、現時点で知識量に相当する質問応答で81.1％、推論能力に相当する文書読解においては84.3％の性能を達成しているのだという。

NECでは、このLLMをすでに社内業務で活用を始めており、文書作成や社内システム開発におけるソースコード作成業務など、様々な作業の効率化にも応用している。

NECは今後、ファウンデーションモデルをもとに、顧客のクローズドデータを用いた個社向けLLMの開発を推進していくとしている。

また、ファウンデーションモデル自体の性能改良も進め、これらの技術をNEC Generative AI Hubを通じて早期実用化して行く予定だ。

IoTNEWS編集部

IoTに関する様々な情報を取材し、皆様にお届けいたします。