NEC、高速・高性能な大規模言語モデル「cotomi Pro」「cotomi Light」を開発

日本電気株式会社（以下、NEC）は、同社の大規模言語モデル（以下、LLM）「cotomi」のラインアップを強化するため、新たに「cotomi Pro」と「cotomi Light」を開発した。これらは学習データやアーキテクチャを新たに設計し、高速性と高性能を両立している。

新たに開発された「cotomi Pro」と「cotomi Light」は、グローバルLLMと同等の性能を、10倍以上の速度で実現できる。一般的に、LLMの性能を高めるためにはモデルを大規模にする必要があるが、その結果、動作速度が遅くなる。そこでNECは、学習方式やアーキテクチャの工夫により、速度と性能の両立に成功した。

また、NECグループでは約4万人の社員が生成AIの社内サービスを約1年間活用しており、これらのサービスから得られた大量の対話履歴の解析・活用により、現実的なユースケースでの性能も向上しているのだという。

「cotomi Pro」は、GPT-4やClaude 2などのグローバルトップレベルのモデルと同等の性能を、GPU2枚の現実的なインフラでGPT-4の約1/8のレスポンスタイムで実現する。

さらに高速な「cotomi Light」は、GPT-3.5-Turboなどのグローバルモデルと同等の性能を持ちつつ、GPU1〜2枚程度の現実的なインフラで大量のリクエストを高速に処理できる。

具体的には、RAGと呼ばれる仕組みによる社内文書検索システムにおいて、ファインチューニングをしていない状態でGPT-3.5以上の正答率、ファイチューニング後はGPT-4を超える正答率を、およそ1/15のレスポンスタイムで実現する。

NEC、学習データやアーキテクチャを刷新したLLM「cotomi Pro」「cotomi Light」を開発 — レスポンスタイムに関する実験結果

これらの新モデルは、文書要約、論理推論、質問応答など様々なタスクに対する処理能力を持っている。また、推論性能と速度を両立するためのアーキテクチャ上の工夫や大規模な日本語の辞書（トークナイザ）を保有するなどの工夫により、標準的なGPU2枚で、クラウド環境でのGPT-4使用時と比較し、1/8〜1/15の時間での処理を実現する。

NECは今後、パートナーと連携を強化し、「cotomi」をベースにした生成AIサービスの提供と、ビジネス現場への実装を促進するとしている。