リコー、日英中3言語に対応した700億パラメータの大規模言語モデルを開発

株式会社リコーは、企業ごとにカスタマイズできる700億パラメータの大規模言語モデル（以下、LLM）を開発した。

このLLMは、日本語・英語・中国語に対応したほか、オンプレミス・クラウドの両環境での導入が可能だ。

学習は、AIが自然言語の学習に利用するコーパスの選定や、誤記や重複の修正などのデータクレンジング、学習するデータの順序や割合を最適化するカリキュラム学習などリコー独自の方法で実施されている。

さらに、独自開発を含む約1万6千件のインストラクションチューニングデータで追加学習することにより、広範なタスクに適応するとのことだ。

これにより、顧客の要望に合わせたプライベートLLMを構築する際の追加学習で生じる破滅的忘却による性能低下を抑制する。

また、入力された文章を単語などの細かい単位に分割するトークナイザーを独自改良した。

プライベートLLMとしてのユースケース例としては、金融業における融資審査業務や、自治体での行政サービス、流通・小売業における顧客情報分析やマーケティングなどが挙げられている。

なお、ベンチマークツールを用いた検証では、平均で4を超える高いスコアを示した。また、比較した他のLLMは、タスクによって英語で回答するケースが見られたが、リコーのLLMは全てのタスクに対して日本語で回答したとのことだ。さらに、回答速度の面でも他のLLMを上回った。

このLLMは、2024年秋から日本国内での提供から開始され、今後は海外への提供も目指すとしている。

IoTNEWS編集部

IoTに関する様々な情報を取材し、皆様にお届けいたします。