2025年9月9日、NVIDIAはAI Infrastructure Summitにおいて、AIコンピューティングの歴史における明確な分岐点となるであろう「Rubin CPX」を発表した。これは、100万トークンを超える超長文脈AI推論という、現代のAIが直面する最も困難な課題の一つに対するNVIDIAの回答である。しかし、その本質はスペックシート上の数字の向上に留まらない。「分散推論」という概念をソフトウェアからハードウェアへと物理的に実装し、AIインフラの設計思想そのものを根底から覆す、アーキテクチャレベルでの革命なのだ。
AI推論の隘路：長文脈化が暴くメモリの壁
近年の大規模言語モデル（LLM）の進化は、コンテキストウィンドウの拡大競争の歴史でもあった。数千トークンから始まったコンテキスト長は、今や100万トークンを超え、1時間分の動画や巨大なソフトウェアのコードベース全体を一度に読み込むことが現実の目標となりつつある。
しかし、この長文脈化は、既存のGPUアーキテクチャに深刻な課題を突きつけている。AIの推論プロセスは、大きく分けて二つのフェーズで構成される。
- Prefill（コンテキスト）フェーズ: 入力された長大なプロンプト（コンテキスト）を並列処理し、AttentionメカニズムのKey-Valueペア（KVキャッシュ）を生成する段階。このフェーズは、大量の行列演算を必要とするため、計算律速（Compute-bound）な特性を持つ。
- Decode（生成）フェーズ: 生成されたKVキャッシュを参照しながら、次のトークンを逐次的に生成していく段階。一つ一つのトークン生成に必要な計算量は比較的小さいが、巨大なKVキャッシュをメモリから頻繁に読み出す必要があるため、メモリ帯域律速（Memory-bound）となる。
従来の汎用GPUアーキテクチャでは、これら性質の異なる二つのフェーズを、一つのGPU（多くは高価なHBMメモリを搭載）で処理していた。これは、F1マシンに貨物を積んで運ぶような非効率さを内包していた。特に100万トークン規模のコンテキストでは、生成されるKVキャッシュは数百GBからテラバイト級に達し、GPUに搭載されたHBMの容量を瞬時に使い果たし、性能はメモリ帯域の限界に張り付いてしまう。
この計算律速とメモリ帯域律速という相反する二つの課題を、単一のアーキテクチャで解決するのは物理的に困難である。NVIDIAが出した答えは、そもそも単一で解決することをやめる、というものだった。それこそが「分散推論（Disaggregated Inference）」であり、Rubin CPXの存在意義そのものなのだ。
Rubin CPXとVera Rubin NVL144 CPXのアーキテクチャ
NVIDIAは、性質の異なるワークロードには、それぞれに最適化された専用プロセッサを割り当てるという、ヘテロジニアス・コンピューティング（異種混合計算）のアプローチを、ラックレベルで具現化した。その中核を成すのが、Rubin CPXと、それを統合するVera Rubin NVL144 CPXプラットフォームである。
推論の物理法則を分割するアーキテクチャ
Vera Rubin NVL144 CPXプラットフォームは、単一のGPUではなく、複数の特殊化されたプロセッサ群で構成される、いわば「推論に特化したスーパーコンピュータ」だ。そのコンピュートトレイの構成は、NVIDIAの戦略を雄弁に物語っている。
- 標準Rubin GPU (x4): 高帯域幅メモリ（HBM）を搭載し、計算律速なPrefillフェーズを担う。BlackwellやHopperの後継として、極めて高い浮動小数点演算性能を持つことが予想される。
- Rubin CPX GPU (x8): 大容量のGDDR7メモリ（128GB）を搭載し、メモリ帯域律速なDecodeフェーズに特化。KVキャッシュの保持と高速な読み出しを担当する。
- Vera CPU (x2): ArmベースのCPU。システム全体の制御や、AIパイプラインにおける非定型な処理を担う。
- ConnectX-9 SuperNIC (x8): おそらく1.6Tbpsクラスの次世代NIC。外部とのデータ入出力や、複数ラックにまたがる大規模な推論クラスタリングを可能にする。
この構成が意味するのは、AI推論パイプラインの物理的な分割だ。ユーザーからの100万トークンのプロンプトは、まず標準Rubin GPU群に送られ、強力な演算能力で並列処理され、巨大なKVキャッシュが生成される。そして、このKVキャッシュは高速なインターコネクトを通じてRubin CPX群に転送される。
以降のトークン生成（Decode）は、すべてRubin CPXの仕事となる。CPXは、その広大な128GBのGDDR7メモリ空間にKVキャッシュを展開し、次のトークン予測に必要なデータを効率的に読み出し続ける。これにより、高価なHBMを搭載した標準Rubin GPUは、KVキャッシュの保持という不得手なタスクから解放され、得意な計算処理（次のユーザーからのPrefillリクエストなど）に即座に再割り当てされる。
このアーキテクチャは、システム全体のスループットを劇的に向上させる。これは、工場の生産ラインで、各工程に特化した機械を配置するのと同じ発想であり、計算機科学の古典的な最適化手法を、AI推論という現代的な課題に適用した、見事な解答と言える。
なぜGDDR7なのか？ HBMとの戦略的使い分け
Rubin CPXがHBMではなくGDDR7メモリを採用した点は、技術的に最も興味深い選択の一つである。この背景には、メモリの特性とコストに対する深い洞察がある。
- 容量とコスト: GDDR7は、HBMに比べてビットあたりのコストが大幅に低い。これにより、128GBという大容量を現実的なコストでチップに搭載できる。100万トークンのKVキャッシュを保持するには、容量こそが正義であり、GDDR7の選択は理にかなっている。
- 帯域幅: HBMはGDDR7よりも遥かに広いメモリバス幅を持ち、圧倒的な帯域幅を誇る。これは、Prefillフェーズのように、GPUコアがデータを渇望する計算律速なワークロードには不可欠である。一方、Decodeフェーズは、巨大なKVキャッシュの中から特定の部分をランダムアクセス的に読み出す特性が強い。GDDR7の帯域幅はHBMには及ばないものの、このタスクには十分な性能を提供できる。
- モノリシックダイ: NVIDIAの発表によれば、Rubin CPXはモノリシックダイ（一枚のシリコン上に製造されたチップ）であるとされる。 HBMはチップレット技術を用いてGPUダイと接続されるため、製造プロセスが複雑で高コストになる。一方、GDDR7は基板上で接続するため、GPU自体はモノリシック設計が可能となり、製造コストの低減と歩留まりの向上に寄与する。
つまりNVIDIAは、「最高の性能が求められるPrefillにはHBM搭載の標準Rubinを、大容量とコスト効率が求められるDecodeにはGDDR7搭載のRubin CPXを」という、極めて合理的な役割分担を描いたのだ。この判断は、半導体の製造現実性と経済性を深く理解したアーキテクトならではの視点と言えるだろう。
さらに、Rubin CPXには4基のNVENC/NVDECエンジンが搭載されていることも見逃せない。 これは、ビデオ生成やビデオ分析といった、長文脈処理のもう一つのキラーアプリケーションを明確に視野に入れている証拠だ。動画のエンコード・デコード処理をハードウェアレベルで高速化することで、CPUの負荷を軽減し、エンドツーエンドのビデオAIパイプラインを劇的に加速させる狙いが見て取れる。
パフォーマンスと経済性の再定義
NVIDIAは、Vera Rubin NVL144 CPXプラットフォームが、8エクサフロップス（EFLOPS）のAI性能を達成し、これは現行のGB300 NVL72システム（Blackwellベース）の7.5倍に相当すると主張している。 この数字は、単なる理論ピーク性能の向上だけでは説明できない。
8エクサフロップスの真実：システム効率の飛躍
8EFLOPSという性能値は、おそらく低精度なNVFP4フォーマットでの理論値だろう。しかし、その本質は、分散推論アーキテクチャによるシステム全体の実効性能（スループット）の向上にある。
従来のシステムでは、DecodeフェーズでGPUがメモリ律速に陥っている間、その強力な演算器の多くはアイドリング状態にあった。Rubin CPXアーキテクチャでは、標準Rubin GPUが常に計算律速のPrefillタスクを処理し続け、CPXがメモリ律速のDecodeタスクを並行して処理するため、システム全体のGPU稼働率が劇的に向上する。
つまり、GB300比で7.5倍という性能向上は、個々のGPUの演算性能向上（おそらく2倍程度）と、システムアーキテクチャの変更による効率向上（3〜4倍）の掛け算によって達成されるものと考えられる。これは、ハードウェアの進化だけではなく、システム設計の革新がいかに重要かを示す好例である。
また、「GB300比で3倍高速なAttention能力」という言及も重要だ。これは、CPXにAttention処理を高速化する専用回路が組み込まれているか、あるいはGDDR7のランダムアクセス性能がKVキャッシュの読み出しに最適化されていることを示唆している。
「1億ドルの投資で50億ドルのトークン収益」の経済モデル
NVIDIAは、「投資額1億ドルごとに50億ドルのトークン収益が可能」という、驚異的な投資収益率（ROI）を提示している。 これは単なるマーケティング文句ではなく、分散推論がもたらすTCO（総所有コスト）の抜本的な削減に基づいた、論理的な帰結である。
トークンあたりの推論コストは、主に以下の要素で決まる。
- ハードウェアの減価償却費
- 消費電力
- データセンターの運用コスト
Rubin CPXアーキテクチャは、これらすべてを改善する。
- ハードウェア効率: 高価なHBM搭載GPUを計算量の多いPrefillに集中させ、比較的安価なGDDR7搭載GPUをDecodeに使うことで、システム全体のハードウェアコストを最適化する。
- 電力効率: 各プロセッサが最も得意なタスクに専念することで、遊休時間を減らし、ワットあたりの実効性能を向上させる。
- スループット向上: システム全体のスループットが7.5倍になれば、同じ時間で7.5倍のトークンを生成できる。これは、トークンあたりのコストが劇的に低下することを意味する。
Cursor（AIコーディング）、Runway（動画生成）、Magic（ソフトウェアエージェント）といった先進的なAI企業が、いち早くRubin CPXへの期待を表明しているのは、この新しい経済モデルが自社のビジネスを根底から変えうると理解しているからに他ならない。 100万トークンというこれまで法外なコストがかかっていた処理が、現実的な価格で提供可能になれば、これまで不可能だった新しいAIアプリケーションやサービスが次々と生まれるだろう。
特化型アクセラレータ時代の到来
Rubin CPXの発表は、AIハードウェア市場におけるゲームのルールが変わったことを告げている。AMDやIntelなどの競合が、NVIDIAの汎用GPUに性能で追いつこうと奮闘する中で、NVIDIA自身は、その先にある「特化」という新たな戦場へと駒を進めた。
この戦略は、NVIDIAが持つ最大の強み、すなわちCUDAを中心とした盤石なソフトウェアエコシステムによって支えられている。分散推論のような複雑なパイプラインを、開発者が意識することなく効率的に実行させるには、コンパイラ、ライブラリ、スケジューラといったソフトウェアスタックの高度な連携が不可欠だ。NVIDIA DynamoやNIMマイクロサービスといったソフトウェア群は、このヘテロジニアスなハードウェアの性能を最大限に引き出すための鍵となる。
競合他社は、単に高性能なチップを作るだけではNVIDIAに対抗できない。ハードウェアとソフトウェアを垂直統合し、特定のワークロードに最適化したシステムレベルのソリューションを提供するという、NVIDIAが示した新たな土俵で戦うことを余儀なくされるだろう。
2026年末に予定されているRubin CPXの出荷は、AIインフラの設計思想に大きな影響を与えることは間違いない。 データセンターは、もはや単一の汎用GPUを並べたクラスタではなく、Prefill用、Decode用、あるいは将来的には学習用、データ前処理用といった、様々なタスクに特化したプロセッサが混在する、より動的で効率的なヘテロジニアスな環境へと進化していく。
NVIDIAが示した未来は、AIの計算需要が無限に増大し続けるという前提の上に成り立っている。そして、その需要を満たす唯一の方法は、汎用性という名の非効率を捨て、タスクに特化したハードウェアで物理法則の限界に挑むことだ。Rubin CPXは、その挑戦の第一歩を記す、記念碑的なアーキテクチャとして記憶されることになるだろう。
Sources
