NVIDIAは2026年8月24日、ラック型の推論アクセラレーター「NVIDIA Groq 3 LPX」が本格量産に入ったとHot Chips 2026で発表した。製品の原型は3月のGTCですでに披露され、当時の発表もVera Rubinを構成する7種類のチップを量産中としていた。8月に加わったのは、LPXラックの商用準備を裏づける初の第三者ベンチマークと、Nebiusが最初のAIクラウドとして採用するという材料である。NVIDIAが選んだのは、GPUをLPUで置き換える道ではない。長い入力を読む計算と、次の1トークンを急いで出す計算を異なるプロセッサーへ割り振る設計だ。

この分業は、AIエージェントの待ち時間をどこまで縮めるのか。毎秒3,431出力トークンという数字は目を引くが、価格も消費電力も含まない。量産の意味を測るには、数字が成立した仕組みと、ベンチマークの外に残った条件を分けて読む必要がある。

AD

3,431トークン/秒はエージェント全体の速さではない

Artificial Analysisは、NVIDIAがホストするGroq 3 LPXで「Gemma 4 31B」を動かし、10万トークンの入力に対して毎秒3,431出力トークンという中央値を測定した。比較には各モデル固有の数え方ではなく、共通のo200k_baseトークナイザーを使っている。NVIDIAの発表はこれを毎秒3,400トークンに丸め、最も近い公開エンドポイントの毎秒870トークンに対して約4倍とした。

10万トークンは、数百ファイルを読むコーディングエージェントや、対話履歴を引き継ぐ調査エージェントを想定した条件である。同じテストを1万トークンの入力で行った結果は毎秒3,382出力トークンだった。少なくともGemma 4 31Bでは、入力文脈が10倍に伸びても出力速度の落ち込みは小さい。

ただし、出力トークン速度は仕事の完了時間と同じではない。エージェントはモデルを呼ぶ合間にファイルを読み、外部ツールを動かし、結果を検証する。通信やストレージ、ツール側の処理は毎秒3,431トークンには含まれない。複数の推論呼び出しが直列につながる場面では生成の短縮が積み上がるが、「数時間の作業が数分になる」というNVIDIAの説明は、エンドツーエンドのタスク試験で確かめた数字ではない。

GPUとLPUが推論の工程を分ける

大規模言語モデルの推論は、入力を処理してKVキャッシュを作る「プリフィル」と、出力を1トークンずつ生成する「デコード」で負荷の性質が変わる。長い入力を一度に処理するプリフィルは、並列計算性能と大容量のHBMを持つRubin GPUが得意とする。一方、少量のリクエストへ素早く応答するデコードでは、演算器を待たせずデータを送り続けるメモリー帯域と、処理時間のばらつきを抑える制御が効く。

Vera Rubin NVL72とLPXは、この違いを三つの方式で利用できる。最も分かりやすい構成では、GPUがプリフィルを終えてKVキャッシュを渡し、LPUがデコード全体を受け持つ。さらに細かく分けるAttention-FFN Disaggregation（AFD）では、GPUがKVキャッシュを保持してAttentionを計算し、LPUがフィードフォワード層やMoEのエキスパートを処理する。両者は1トークンを作るたびに中間データを受け渡す。

もう一つは投機的デコードである。LPX上の小さなドラフトモデルが候補トークンを先に作り、Rubin GPU上の大きなモデルがまとめて検証する。NVIDIA Dynamoがリクエストを分類し、KVキャッシュや中間データの移動を調整するため、開発者には一つの推論経路として見える。3月に公表されたLPXの設計は、推論の内部をGPU向きとLPU向きの仕事へ分け、8月の実測値がその一つの構成で出力速度を初めて示した。

AD

256基のLPUを1ラックに束ねる理由

Groq 3 LPXの1ラックには、8基のLP30を載せた液冷1Uトレイが32台入る。合計256基のLPUが、315 PFLOPSのFP8演算性能、128GBのオンチップSRAM、毎秒40PBのSRAM帯域を提供する。チップ間を結ぶスケールアップ帯域はラック全体で毎秒640TBに達する。

項目 1ラック LPU 1基
LPU数 256基 1基
SRAM容量 128GB 500MB
SRAM帯域 40PB/秒 150TB/秒
スケールアップ帯域 640TB/秒 2.5TB/秒

読みどころは容量より帯域である。LPU 1基のSRAMは500MBしかなく、31Bモデルを単体では保持できない。The Registerは、Gemma 4 31Bの重みをFP8で置くなら31GB強が必要になり、少なくとも約64基分のSRAMを使うと見積もる。LPXは大きなモデルを多数のチップへ分割する代わりに、SRAMの速度とチップ間通信で次のトークンを急ぐ設計だ。

256基を低遅延で動かすため、LPUは実行時の動的な調停を減らした。コンパイラーが320バイトのベクトルを単位に演算、メモリーアクセス、通信の時刻を事前に割り当てる。各LPUは112Gbpsで動く96本のチップ間リンクを備え、データが届くクロックまで計画する。ピーク演算性能を競うというより、待ち時間の揺れをラック全体で抑えるアーキテクチャである。

4倍高速という数字の外側

毎秒3,431トークンは実測値だが、検証したのは31Bの密なモデル一つである。どの精度で何基を割り当てたか、同時に何ユーザーを処理したかという完全な構成は公表されていない。価格、ラックの消費電力、P95やP99の遅延も不明だ。単一ユーザー向けの出力速度から、クラウド事業者の採算は計算できない。

「4倍」もチップ同士の比較ではない。NVIDIAの図では競合する公開エンドポイントが毎秒870トークンだったが、The RegisterはCerebras側なら同じモデルを1〜2基、LPX側は少なくとも約64基で動かした可能性を指摘する。サービスとして体感する速度は比較できても、必要なシリコン面積や電力、設備費はそろっていない。

Gemma 4 31Bが無意味な小型モデルというわけでもない。密なモデルは各トークンで310億のパラメーターを使うため、巨大なMoEモデルが実際に呼び出すアクティブパラメーター数に近い場合がある。それでもMoEはトークンごとに異なるエキスパートを選び、モデル全体の重みを保持しなければならない。NVIDIAが掲げる「1MW当たり最大35倍のスループット」は2兆パラメーター級モデルを置いた予測であり、今回のGemma試験で測った結果ではない。

Nebiusも導入時期と料金をまだ示していない。同社はToken Factoryの既存APIから使えるようにし、当初は一部モデルを対応させるとしている。量産発表はハードウェアが製造工程を進んだ証拠にはなるが、開発者が今日から選べるクラウド商品を意味しない。

AD

170億ドルの契約から8カ月で量産発表

GroqとNVIDIAは2025年12月24日、推論技術の非独占ライセンス契約を結んだ。Groq創業者のJonathan Ross、社長のSunny MadraらがNVIDIAへ移り、Groqは独立企業としてGroqCloudを続けた。NVIDIAは翌年3月にGroq 3 LPUとLPXをVera Rubinへ組み込み、8月に量産と最初のクラウド採用を公表した。契約から量産発表まで8カ月である。

この取引は当初、約200億ドル規模と報じられた。しかしNVIDIAが米証券取引委員会へ提出した年次報告書では、契約時の支払いが130億ドル、1年以内に支払う分が帰属利息込みで40億ドルとなっており、総対価は170億ドルである。同社はGroqの株式、既存製品、顧客契約を取得していない。

会計処理も、NVIDIAが何を急いだかを映す。170億ドルのうち144億ドルは、人材とライセンス技術の将来開発に主に由来するのれんへ振り向けられた。開発済み技術として計上した無形資産は25億ドルで、耐用年数は5年だった。完成品を買った取引というより、Groqの設計思想と人材を自社のGPU、ネットワーク、Dynamoへ早く統合するための対価だったと会計開示から判断できる。

NebiusはToken FactoryにLPXを載せ、Groq自身もDell Technologiesと組んでVera Rubin NVL72とLPXをクラウドへ導入する。NVIDIAはLPUの速さを自社製品に閉じ込めず、既存のクラウド経路から流通させる計画だ。これにより同社は、学習と大量処理を担うGPUに加え、1ユーザー当たりの応答速度が商品価値になる推論も自社プラットフォームへ取り込める。

Groq 3 LPXの評価を決めるのは、次のピーク速度ではない。Nebiusの実サービスで大規模MoEモデルを動かしたとき、P99遅延とトークン単価がどこまで下がり、何種類のモデルへ広がるかである。この三つが公開されれば、170億ドルの契約から8カ月で量産発表へ進んだLPXが、AIエージェントの実用的な待ち時間を縮めるかを測れる。