株式会社Preferred Networks（以下、PFN）は、子会社の株式会社Preferred Elements（以下、PFE）がエッジデバイス向けに開発する小規模言語モデル（以下、SLM）「PLaMo Lite（プラモ・ライト）」の提供を開始すると発表した。
「PLaMo Lite」は、クラウドを介さずにエッジデバイス上や、企業が自社で保有するオンプレミス環境で、高速に動作可能な小規模言語モデルだ。PFEがフルスクラッチで開発した1000億パラメータの大規模言語モデル「PLaMo-100B」の開発成果を元にして、10億パラメータの小型モデルを構築し、大規模なモデルに比べて計算コストを削減している。
また、事前学習には、「PLaMo-100B」で生成した日本語と英語の高品質なテキストデータを使用し、「PLaMo-100B」の事前学習データの2倍となる合計4兆トークンを学習させている。
これにより「PLaMo Lite」は、日本語性能を評価する各種ベンチマークにおいて、同程度のパラメータ数のSLMと比べて高い日本語性能を示しており、日本語性能を評価する標準ベンチマークJaster 0-shotおよび4-shotsにおいては、よりパラメータ数の大きなLLMと比べても遜色ない評価を得ているとのことだ。
利用用途としては、自動車やロボット、製造設備、PCなどが挙げられている。
なお、今秋には、「PLaMo-100B」をベースにした法人向けの大規模言語モデル「PLaMo 1.0 Prime」を発売予定とのことだ。
無料メルマガ会員に登録しませんか？
IoTNEWSは、毎日新着ニュースを公開しております。
週一回配信される、無料のメールマガジン会員になっていただくと、記事一覧やオリジナルコンテンツの情報が取得可能となります。
- AIに関する最新ニュース
- 実践を重要視する方に聞く、インタビュー記事
- 業務改革に必要なAI活用方などのノウハウ
など、多岐にわたるテーマが配信されております。
また、無料メルマガ会員になると、会員限定のコンテンツも読むことができます。
無料メールから、気になるテーマの記事だけをピックアップして読んでいただけます。 ぜひ、無料のメールマガジンを購読して、貴社の取り組みに役立ててください。
無料メルマガ会員登録
IoTに関する様々な情報を取材し、皆様にお届けいたします。
