PFE、エッジデバイス上で動作可能な小規模言語モデル「PLaMo Lite」の提供を開始

株式会社Preferred Networks（以下、PFN）は、子会社の株式会社Preferred Elements（以下、PFE）がエッジデバイス向けに開発する小規模言語モデル（以下、SLM）「PLaMo Lite（プラモ・ライト）」の提供を開始すると発表した。

「PLaMo Lite」は、クラウドを介さずにエッジデバイス上や、企業が自社で保有するオンプレミス環境で、高速に動作可能な小規模言語モデルだ。PFEがフルスクラッチで開発した1000億パラメータの大規模言語モデル「PLaMo-100B」の開発成果を元にして、10億パラメータの小型モデルを構築し、大規模なモデルに比べて計算コストを削減している。

また、事前学習には、「PLaMo-100B」で生成した日本語と英語の高品質なテキストデータを使用し、「PLaMo-100B」の事前学習データの2倍となる合計4兆トークンを学習させている。

これにより「PLaMo Lite」は、日本語性能を評価する各種ベンチマークにおいて、同程度のパラメータ数のSLMと比べて高い日本語性能を示しており、日本語性能を評価する標準ベンチマークJaster 0-shotおよび4-shotsにおいては、よりパラメータ数の大きなLLMと比べても遜色ない評価を得ているとのことだ。