株式会社リコーは、日本企業の業務利用を目的とした、企業ごとのカスタマイズが容易な130億パラメータの大規模言語モデル（以下、LLM）を開発した。
今回開発されたLLMは、Meta Platformsが提供する「LLM Llama2-13B」をベースに、日本語と英語のオープンコーパスを追加学習させて開発したものだ。
学習に利用するコーパスの選定、データクレンジング、学習データの順序や割合を最適化するカリキュラム学習など、リコー独自の学習上の工夫が組み込まれている。その結果、特に自然言語推論能力（NLI）で高性能を達成している。
また、このLLMは、日本語と英語での学習に際して、学習データの比率を工夫することで、日本語の文法や回答の精度を上げることに成功している。
このLLMに企業独自の情報や知識を取り入れることで、各業種・業務に合わせた高精度なAIモデル（カスタムLLM）を構築することができる。
リコーは、2024年春からカスタムLLMをクラウド環境で提供開始する予定だとしている。まずは日本国内の顧客から提供を開始し、将来的には海外の顧客へも提供する予定だ。
なお、今回のモデルは、「AWS LLM開発支援プログラム」のサポートを受けており、AWS Trainiumアクセラレータを搭載したAmazon Elastic Compute Cloud Trn1インスタンスを利用することで、従来の開発方法と比較して45%のコスト低減と12%の開発期間の短縮を実現したのだという。
さらに、顧客向けカスタムLLMを開発する際にも、効率的に開発できるため、より安価で短納期の提供が可能だとしている。
また、今回のLLM開発とその手法は、2024年3月11日から開催される「言語処理学会第30回年次大会」で論文発表される予定だ。
無料メルマガ会員に登録しませんか？
IoTNEWSは、毎日10-20本の新着ニュースを公開しております。 また、デジタル社会に必要な視点を養う、DIGITIDEという特集コンテンツも毎日投稿しております。
そこで、週一回配信される、無料のメールマガジン会員になっていただくと、記事一覧やオリジナルコンテンツの情報が取得可能となります。
- DXに関する最新ニュース
- 曜日代わりのデジタル社会の潮流を知る『DIGITIDE』
- 実践を重要視する方に聞く、インタビュー記事
- 業務改革に必要なDX手法などDXノウハウ
など、多岐にわたるテーマが配信されております。
また、無料メルマガ会員になると、会員限定のコンテンツも読むことができます。
無料メールから、気になるテーマの記事だけをピックアップして読んでいただけます。 ぜひ、無料のメールマガジンを購読して、貴社の取り組みに役立ててください。
無料メルマガ会員登録
IoTに関する様々な情報を取材し、皆様にお届けいたします。
