rinna、Llama 3の日本語継続事前学習モデル「Llama 3 Youko 8B」を発表

企業:/

rinna株式会社は、Metaの大規模言語モデル「Llama 3 8B」に対して、日本語データで継続事前学習を行った「Llama 3 Youko 8B」を開発し、Meta Llama 3 Community Licenseで公開した。

「Llama 3 Youko 8B」は、80億パラメータの「Llama 3 8B」に対して、日本語と英語の学習データ220億トークンを用いて継続事前学習したモデルだ。「Meta Llama 3」を継承してモデルを公開しており、このライセンスに従い利用することができる。

「Llama 3」は、日本語言語モデルの性能を評価するためのベンチマークの一つである Stability-AI/lm-evaluation-harnessの9タスク平均スコアが59.82であるのに対し、「Llama 3 Youko 8B」は66.15となっている。

rinna、Llama 3の日本語継続事前学習モデル「Llama 3 Youko 8B」を発表
日本語言語モデルベンチマークStability-AI/lm-evaluation-harnessのスコア

なお、今回公開された「Llama 3 Youko 8B」は汎用的なベースモデルであり、目的とするタスクで利用する場合には、ファインチューニングやモデルマージを行い利用することが推奨されている。

無料メルマガ会員に登録しませんか?

膨大な記事を効率よくチェック!

IoTNEWSは、毎日10-20本の新着ニュースを公開しております。 また、デジタル社会に必要な視点を養う、DIGITIDEという特集コンテンツも毎日投稿しております。

そこで、週一回配信される、無料のメールマガジン会員になっていただくと、記事一覧やオリジナルコンテンツの情報が取得可能となります。

  • DXに関する最新ニュース
  • 曜日代わりのデジタル社会の潮流を知る『DIGITIDE』
  • 実践を重要視する方に聞く、インタビュー記事
  • 業務改革に必要なDX手法などDXノウハウ

など、多岐にわたるテーマが配信されております。

また、無料メルマガ会員になると、会員限定のコンテンツも読むことができます。

無料メールから、気になるテーマの記事だけをピックアップして読んでいただけます。 ぜひ、無料のメールマガジンを購読して、貴社の取り組みに役立ててください。

無料メルマガ会員登録