NEC、130億パラメータの日本語大規模言語モデルを独自開発

日本電気株式会社(以下、NEC)は、生成AIにおける日本語大規模言語モデル(Large Language Model、以下LLM)を開発した。

今回発表されたLLMは、NECが独自に収集・加工した多言語データを利用し開発した汎用的なモデル、いわゆるファウンデーションモデルだ。

通常、高い性能を有するLLMは、多数のGPUを必要とするのに対し、このLLMは、パラメータ数を130億に抑えており、GPU1枚搭載の標準的なサーバで動作することができる。

これにより、消費電力の抑制や、軽量・高速のためクラウドおよびオンプレミス環境での運用が可能となる。

加えて、高い日本語能力が特徴だ。

自然言語処理分野で標準的なベンチマークである日本語言語理解ベンチマークJGLUEを用いて評価したところ、現時点で知識量に相当する質問応答で81.1%、推論能力に相当する文書読解においては84.3%の性能を達成しているのだという。

NEC、130億パラメータの日本語大規模言語モデルを独自開発
NECのLLMの出力結果例(質問応答)

NECでは、このLLMをすでに社内業務で活用を始めており、文書作成や社内システム開発におけるソースコード作成業務など、様々な作業の効率化にも応用している。

NECは今後、ファウンデーションモデルをもとに、顧客のクローズドデータを用いた個社向けLLMの開発を推進していくとしている。

また、ファウンデーションモデル自体の性能改良も進め、これらの技術をNEC Generative AI Hubを通じて早期実用化して行く予定だ。

無料メルマガ会員に登録しませんか?

膨大な記事を効率よくチェック!

IoTNEWSは、毎日10-20本の新着ニュースを公開しております。 また、デジタル社会に必要な視点を養う、DIGITIDEという特集コンテンツも毎日投稿しております。

そこで、週一回配信される、無料のメールマガジン会員になっていただくと、記事一覧やオリジナルコンテンツの情報が取得可能となります。

  • DXに関する最新ニュース
  • 曜日代わりのデジタル社会の潮流を知る『DIGITIDE』
  • 実践を重要視する方に聞く、インタビュー記事
  • 業務改革に必要なDX手法などDXノウハウ

など、多岐にわたるテーマが配信されております。

また、無料メルマガ会員になると、会員限定のコンテンツも読むことができます。

無料メールから、気になるテーマの記事だけをピックアップして読んでいただけます。 ぜひ、無料のメールマガジンを購読して、貴社の取り組みに役立ててください。

無料メルマガ会員登録