詳細を読む
Nvidiaは米サンノゼで開催されたGTC 2026において、AI推論に特化した新チップGroq 3 LPUを発表しました。同社がスタートアップGroqから200億ドルで技術ライセンスを取得し、わずか2カ月半で製品化したものです。
Jensen Huang CEOは「AIがついに生産的な仕事をできるようになり、推論の転換点が到来した」と宣言しました。学習と推論では計算要件が根本的に異なり、推論では低遅延が最も重要とされています。思考型・推論型モデルでは出力前に何度も推論が実行されるためです。
Groq 3 LPUの核心技術は、プロセッサ内部にSRAMメモリを直接統合した設計にあります。従来のGPUがチップ外のHBMにアクセスする必要があるのに対し、データがSRAMを直線的に通過するため、推論に必要な極めて低いレイテンシを実現します。メモリ帯域は150TB/sで、Rubin GPUの22TB/sの約7倍です。
推論特化チップ市場ではD-matrix、Etched、Cerebrasなど多数のスタートアップが独自アプローチを展開しています。AWSはCerebrasの第3世代チップと自社Traniumを組み合わせた推論システムのデータセンター展開を発表しました。推論を「プリフィル」と「デコード」に分離する技術が注目されています。
Nvidiaも推論分離を活用する新コンピュートトレイGroq 3 LPXを発表しました。8基のGroq 3 LPUとVera Rubin GPUを搭載し、計算集約的な処理はGPUが、最終段階の高速デコードはLPUが担います。Huang氏は「すでに量産段階にある」と述べ、推論市場の急速な拡大を示しました。