チューリング株式会社は、完全自動運転AIの実現に向け、大規模言語モデル（LLM）やマルチモーダルモデル向けの専用計算基盤として、GPUクラスタシリーズ「Gaggle Cluster」の構築に着手したことを発表した。
今回構築される最初のクラスタ「Gaggle-Cluster-1」は、96基のNVIDIA H100 GPUを搭載し、総計算能力190PFLOPSとなるGPUクラスタだ。システム全体として2024年前半の稼働開始を目指している。
「Gaggle-Cluster-1」は、多数のGPUサーバで構成されているだけでなく、サーバ間の通信帯域及びストレージ速度を最大限に確保し、これによりクラスタ全体を「単一の計算機」として大規模な学習タスクに最適化させることが特徴だ。
分散並列学習技術を活用することにより、LLMを含む大規模なパラメータのモデルを、高速かつ効率的に学習させることが可能になる。