PFE、1000億パラメータのAI基盤モデル開発と1兆パラメータ言語モデルの検証に着手

株式会社Preferred Elements（以下、PFE）は、1000億パラメータのマルチモーダル基盤モデルの開発に着手することを発表した。さらに、世界的規模である1兆パラメータの言語モデルの開発に向けた事前学習の検証も行う。

今回PFEは、経済産業省とNEDOが始める国内の生成AIの開発力を強化するプロジェクト「GENIAC（Generative AI Accelerator Challenge）」において、基盤モデル開発に必要な計算資源の提供支援を受け、これまで開発してきた130億パラメータを上回る1000億パラメータのマルチモーダル基盤モデルの開発を行う。

また、1兆パラメータの大規模言語モデルの事前学習の検証も実施する。

この助成事業で得られた成果物は、安全性の検証後、1000億パラメータのモデルのウェイトやファインチューニング用コード、学習課題やノウハウを、「GENIAC」の基盤モデル開発事業者コミュニティや講演を通じて公開する予定だ。

さらに、PFEは複数の企業や行政機関と2024年中の利用開始に向けた議論を始め、商用化に向けた準備を進めているとしている。

研究開発の期間は、2024年2月15日から8月15日を予定している。

なお、このプロジェクトは、経済産業省とNEDOの公募「ポスト 5G 情報通信システム基盤強化研究開発事業/ポスト 5G 情報通信システムの開発」に提案し、採択されたものだ。

IoTNEWS編集部

IoTに関する様々な情報を取材し、皆様にお届けいたします。