rinna株式会社は、Metaの大規模言語モデル「Llama 3 8B」に対して、日本語データで継続事前学習を行った「Llama 3 Youko 8B」を開発し、Meta Llama 3 Community Licenseで公開した。
「Llama 3 Youko 8B」は、80億パラメータの「Llama 3 8B」に対して、日本語と英語の学習データ220億トークンを用いて継続事前学習したモデルだ。「Meta Llama 3」を継承してモデルを公開しており、このライセンスに従い利用することができる。
「Llama 3」は、日本語言語モデルの性能を評価するためのベンチマークの一つである Stability-AI/lm-evaluation-harnessの9タスク平均スコアが59.82であるのに対し、「Llama 3 Youko 8B」は66.15となっている。
なお、今回公開された「Llama 3 Youko 8B」は汎用的なベースモデルであり、目的とするタスクで利用する場合には、ファインチューニングやモデルマージを行い利用することが推奨されている。
無料メルマガ会員に登録しませんか？
IoTNEWSは、毎日10-20本の新着ニュースを公開しております。 また、デジタル社会に必要な視点を養う、DIGITIDEという特集コンテンツも毎日投稿しております。
そこで、週一回配信される、無料のメールマガジン会員になっていただくと、記事一覧やオリジナルコンテンツの情報が取得可能となります。
- DXに関する最新ニュース
- 曜日代わりのデジタル社会の潮流を知る『DIGITIDE』
- 実践を重要視する方に聞く、インタビュー記事
- 業務改革に必要なDX手法などDXノウハウ
など、多岐にわたるテーマが配信されております。
また、無料メルマガ会員になると、会員限定のコンテンツも読むことができます。
無料メールから、気になるテーマの記事だけをピックアップして読んでいただけます。 ぜひ、無料のメールマガジンを購読して、貴社の取り組みに役立ててください。
無料メルマガ会員登録
IoTに関する様々な情報を取材し、皆様にお届けいたします。
