詳細を読む
NVIDIAは9月15日、AI Infra SummitでAIデータセンター向け基盤「DSX」の電力最適化成果を公表しました。GPUクラウドのLambdaは、DSX MaxLPSにより同じ電力枠でノード数を16から19へ増やし、トークン処理量を24％、電力当たり性能を23％向上させたと報告しました。電力が制約となる中、設備全体を制御して1メガワット当たりのAI処理量を増やす狙いです。
DSX MaxLPSはGPUとラックの消費電力を監視し、処理内容に応じて未使用の電力余力をノード間で再配分します。Lambdaの5ラック、19ノードの検証では、毎秒の処理量が約400万トークンから500万トークンへ増えました。
NVIDIAは次世代Vera Rubin NVL72を使う適切な環境では、同じ電力枠でGPU容量を最大40％、トークン処理量を最大35％増やせると予測しています。これは実測値ではなく、同社が示した将来構成での上限値です。
電力網との連携では、Emerald AIのConductorがSilicon Valley Powerから200回超の需要信号を受け、低優先度の処理を抑えながら高優先度の推論を継続しました。ある応答では消費電力を4メガワットから3メガワットへ自動で下げました。現状はDSX Flexの導入例ではなく、その考え方を商用規模で示した実証です。
Emerald AIはConductorをDSX Flexへ統合する計画で、最初の専用商用導入先はバージニア州マナサスの96メガワット施設になる予定です。NVIDIAは高密度ラックへの給電効率を高める800ボルト直流方式もDSXの設計指針に組み込み、電力管理、冷却、ネットワークを設備全体で最適化します。