モデルの学習やAIアプリケーションの提供を担うAIファクトリーは、極めて複雑なデータセンター基盤で構成されている。
従来型の監視ツールでは、ネットワーク、計算基盤、サイト信頼性（SRE）、機械学習といった担当チームごとにモニタリング環境が分断され、システム全体の状況把握が困難であった。
その結果、特定のGPUやNVMeストレージの局所的な性能低下、または温度上昇といった軽微な異変が引き起こすジョブ全体の遅延や停止を見落とすリスクが存在していた。
こうした中、NVIDIAは、AIファクトリー全体のインフラとワークロードのテレメトリデータを統合し、運用を高度化するAIOpsプラットフォーム「NVIDIA Minerva（ミネルバ）」を発表した。
「NVIDIA Minerva」は、AIファクトリーの収量に焦点を当てており、GPU稼働時間、処理能力、クラスタ稼働時間、トークン生成量などを通じて、インフラストラクチャが生み出す有用な作業量を測定する。
これにより、数万から数十万基規模のGPUが高速ネットワークで連携するAIファクトリーにおいて、大規模障害やパフォーマンス低下の兆候を早期に検知し、GPUの稼働率や生産性を最大化する統合的な可観測性を提供する。
また、GPUやSuperNIC、スイッチ、ケーブルなどの物理インフラと、その上で実行されるワークロードのシグナルを結合し、動的なナレッジグラフとして論理構成を可視化する。
1時間あたり数十億件におよぶテレメトリデータを教師ありおよび教師なし機械学習で解析し、正常な動作パターンを学習した上で、未知の異常や将来的な障害リスクを予測する。
大量のアラートが発生する「イベントストーム」が生じた際も、単一の重大インシデントへと集約し、根本原因を特定して提示する仕組みを備えている。
なお、「NVIDIA Minerva」には自然言語対応のネイティブAIアシスタントが搭載されており、運用担当者は対話形式でクラスタの健全性を確認し、推奨される復旧手順を受け取ることが可能だ。
すでに、AIファクトリーの運用を最適化するデータセンター事業者であるIRENをはじめ、IBM、Tesla、Lambda、Bitdeer AIなどの企業が導入を計画しているほか、Dell Technologies、Lenovo、Supermicroが自社のAIファクトリーソリューションの一環として提供するとのことだ。
NVIDIAは、障害間隔の延伸、復旧時間の短縮、アラートの厳選という3つの価値を通じて、AIファクトリーにおける受動的なトラブルシューティングから予防保全（プロアクティブメンテナンス）への移行を推進していくとしている。