株式会社Preferred Networks（以下、PFN）は、同社が開発した130億パラメータの事前学習済み大規模言語モデル「PLaMo-13B（Preferred Language Model、プラモ）」を、研究・商用で利用可能なオープンソースソフトウェア（OSS）ライセンスで、2023年9月28日より公開した。
「PLaMo-13B」の開発にあたり、PFNは、学習に使用可能なオープンデータセットを独自に収集・加工して、1.4兆トークンの大規模な日英2言語のデータセットを作成した。
また、国立研究開発法人産業技術総合研究所が保有するAI橋渡しクラウド（ABCI）のNVIDIA A100を480GPU使用して、1か月弱の学習を行った。
この「PLaMo-13B」の推論に必要なコードおよびパラメータを、研究・商用利用が可能なライセンス（Apache License v2.0）で公開することで、日本語・英語に対応する大規模言語モデルを使った、様々な研究開発および検証を進められる環境を開発者に提供する。
また、PFNは、新会社である株式会社Preferred Elements（以下、PFE）を2023年11月1日に会社分割により設立する。
これにより、今回公開するOSSを超える大規模かつ高機能な基盤モデルの開発を促進し、2024年中に商用でのサービス提供の開始を目指すとともに、PFNグループのプロダクト・サービスでの活用を進めていく予定だ。
今後は、大規模言語モデルの課題として指摘されている偽情報（ハルシネーション）、バイアス、悪用リスクへの対策、事前学習用データの作成・収集に関して、国・大学・企業とも連携を深め、基盤モデルの開発につなげていくとしている。
無料メルマガ会員に登録しませんか？
IoTNEWSは、毎日10-20本の新着ニュースを公開しております。 また、デジタル社会に必要な視点を養う、DIGITIDEという特集コンテンツも毎日投稿しております。
そこで、週一回配信される、無料のメールマガジン会員になっていただくと、記事一覧やオリジナルコンテンツの情報が取得可能となります。
- DXに関する最新ニュース
- 曜日代わりのデジタル社会の潮流を知る『DIGITIDE』
- 実践を重要視する方に聞く、インタビュー記事
- 業務改革に必要なDX手法などDXノウハウ
など、多岐にわたるテーマが配信されております。
また、無料メルマガ会員になると、会員限定のコンテンツも読むことができます。
無料メールから、気になるテーマの記事だけをピックアップして読んでいただけます。 ぜひ、無料のメールマガジンを購読して、貴社の取り組みに役立ててください。
無料メルマガ会員登録
IoTに関する様々な情報を取材し、皆様にお届けいたします。
