NVIDIAが、コア数の多さを優先してきた従来のサーバーCPU設計に疑問を投げかけた。10月18日に公開されたWccftechの独自取材で、同社のVera開発チームは、クラウド向けCPUがコア密度を追求する過程で、シングルスレッド性能やIPC（クロック当たりの命令実行数）の向上を犠牲にしてきたと主張した。背景にあるのは、AIエージェントがGPUで推論を実行し、CPUでツールを動かした後、再びGPUに処理を戻すという新たなワークロードの普及だ。こうした環境では、CPU側の個々の処理が遅いと、AIエージェントの作業全体が長引くことになる。NVIDIAはこの問題に対処するため、88基のCPUコアを単一の計算ダイに集約し、高速な内部通信網と高帯域メモリを組み合わせた「Vera」を開発した。

AD

AIエージェントがCPUのシングルスレッド性能を必要とする理由

AIエージェントがコードを生成してテストする場合、モデルが出力したプログラムをCPU側でビルドし、実行結果をモデルに返す必要がある。次の判断が前の処理結果に依存している場合、CPUのコア数を増やして別の作業を並列実行しても、そのエージェントが結果を待つ時間は短縮されない。こうした逐次処理の待ち時間を減らすことが、NVIDIAがシングルスレッド性能を重視する理由だ。

一方、データセンターでは多数のAIエージェントや強化学習の評価環境を同時に動かす必要がある。NVIDIAが3月に公開した技術解説では、個々の評価環境にはワークステーション並みのシングルスレッド性能が求められる一方、システム全体にはサーバー並みの処理能力が必要になると説明している。少数の処理を実行しているときだけ高速でも、ほかのコアがメモリ帯域や電力を消費し始めた途端に性能が低下するようでは、こうした用途に十分対応できない。重要なのは、多数の処理を同時に実行している状態でも、個々のスレッドが高い性能を維持できることだ。

そのため、NVIDIAがVeraで重視する性能指標は、CPUソケット全体に負荷がかかった状態での各スレッドの処理速度だ。多数のAIエージェントを並列実行しながら、一つひとつの作業を速やかに完了させ、次の処理へ進めることを目指している。これはコア数とシングルスレッド性能のどちらを優先するかという単純な二者択一ではなく、両方を維持するためにCPU内部の資源をどう設計するかという問題である。

ただし、CPUの高速化がそのままGPUの稼働率向上につながるとは限らない。CPUからの結果を待つ間に別の推論処理を実行できれば、GPUは稼働を続けられるからだ。それでも、CPU側の処理待ちが増えて実行順序の調整が難しくなったり、強化学習の評価が次のモデル更新に間に合わなくなったりすれば、システム全体の効率が低下する可能性がある。CPU性能の向上がどの程度効果を発揮するかは、実際のワークフローと待ち時間の内訳によって変わる。

Veraの主要仕様と単一計算ダイを採用した理由

Veraは、NVIDIAが独自開発したArmアーキテクチャの「Olympus」コアを88基搭載するサーバー向けCPUだ。1コアで2つのハードウェアスレッドを実行する「Spatial Multithreading」に対応し、CPU 1基あたり最大176スレッドを扱える。コア数だけでなく、キャッシュや内部通信網、メモリ帯域を含めて設計することで、高負荷時にも各コアの性能を維持することを目指している。

NVIDIAが公開したVeraの公式仕様を整理すると、主な構成は次のとおりだ。

項目 NVIDIA Veraの仕様（CPU 1基あたり）
CPUコア 88基の独自設計Olympusコア（Armv9.2互換）
同時実行スレッド 最大176スレッド（1コアあたり2スレッド）
計算ダイ 88コアと共有キャッシュ、内部通信網を単一ダイに集約
L3キャッシュ 164MB（全コアで共有）
内部通信網 第2世代Scalable Coherency Fabric（SCF）
内部通信帯域 二分帯域幅が最大3.4TB/s
メモリ SOCAMM2規格のLPDDR5X、最大1.5TB
メモリ帯域 最大1.2TB/s
NUMA構成 1ソケットあたり1ドメイン

この仕様で特に重要なのは、88基のCPUコアとそれらを結ぶ通信網が、1枚の計算ダイに収められていることだ。一方、メモリやI/Oを担当する回路は、隣接する別のダイに配置されている。つまり、Veraはすべての機能を単一のシリコンダイに集約したプロセッサではなく、計算部分を一体化し、ほかの機能を分離した構造を採用している。NVIDIAがチップレット技術を全面的に排除したと解釈するのは正確ではない。

計算ダイの内部では、第2世代SCFが88基のOlympusコアと共有L3キャッシュを接続している。最大3.4TB/sという数値は、この内部通信網を二つの領域に分割したとき、その境界を通過できるデータ量を示す「二分帯域幅」だ。一方、最大1.2TB/sはLPDDR5Xメモリとの間でデータを転送する帯域幅であり、両者は異なる通信経路の性能を表している。内部通信が高速でも外部メモリへのアクセスが同じ速度になるわけではなく、3.4TB/sをそのままアプリケーションの処理速度に換算することもできない。

メインメモリには、交換可能なSOCAMM2モジュールのLPDDR5Xを採用している。一般的なサーバー向けDDRメモリに比べて低消費電力で高い帯域幅を確保する狙いがあり、多数のコアが同時にメモリへアクセスする場面を想定した構成だ。NVIDIAは、Veraが高負荷時にも最大メモリ帯域の90％超を維持できると説明している。ただし、この数値は同社が示した測定結果であり、あらゆるアプリケーションで同じ割合の帯域を利用できることを保証するものではない。

AMD EPYCとの違いは計算ダイの分割方法

Veraの構造を理解するには、AMDのサーバー向けCPU「EPYC 9005」と比較すると分かりやすい。AMDは複数のCPUコアをまとめた計算ダイ（CCD）を複数配置し、それらをI/Oダイに接続する方式を採用している。Veraは計算ダイを単一にすることで、異なる計算ダイ間を行き来する通信を不要にしている。

NVIDIAの公式解説とAMDのEPYC 9005公式白書に基づく主な違いは次のとおりだ。

比較項目 NVIDIA Vera AMD EPYC 9005
計算コアの配置 88コアを単一の計算ダイに集約 Zen 5またはZen 5cの計算ダイを複数配置
メモリ・I/Oとの接続 計算ダイと隣接する別ダイで機能を分担 複数の計算ダイをI/Oダイに接続
OSから見たNUMA構成 1ソケットにつき1ドメイン NPS=1設定で1ソケットを1ドメインに構成可能

ここで注意したいのが、NUMA（Non-Uniform Memory Access）構成と物理的なダイ構成の違いだ。NUMAは、CPUコアからメモリへのアクセス時間が、メモリの位置や接続経路によって異なる構造を扱う仕組みである。Veraは1ソケットを1つのNUMAドメインとして扱うため、2ソケット構成では2ドメインになる。一方、AMD EPYCも設定によって1ソケットを単一のNUMAドメインとして扱えるため、OSに表示されるNUMAノードの数だけでは、計算ダイが分割されているかどうかを判断できない。

NVIDIAがVeraで削減しようとしているのは、別の計算ダイへアクセスする際の通信と、それに伴う遅延のばらつきだ。計算コアを単一ダイに集約すれば、異なる計算ダイをまたぐ通信経路を避けられる。ただし、単一ダイ内にも通信遅延や帯域の制約はあり、メモリアクセスやI/Oの負荷による性能低下までなくなるわけではない。重要なのは、すべての通信を高速化できるということではなく、多数のコアが同時に稼働する状況で通信経路による性能のばらつきを抑えやすくする点にある。

AD

チップレット方式でも高いシングルスレッド性能は実現できる

AMDはEPYC 9005の公式白書で、Zen 5をコア当たりの性能を重視した設計、Zen 5cをコア密度と電力効率を重視した設計と説明している。Zen 5の計算ダイには最大8コア、Zen 5cの計算ダイには最大16コアを搭載する。さらにFシリーズでは、コア数を抑える代わりに高い動作周波数を採用し、コア当たりの性能を重視する選択肢も用意している。

つまり、計算ダイを複数に分割するチップレット方式でも、シングルスレッド性能を優先する製品と、並列処理能力を優先する製品の両方を設計できる。NVIDIA開発陣の発言は、クラウド市場でコア密度が重視されてきたことへの問題提起ではあるが、チップレット方式そのものが高性能コアの設計を妨げると証明したわけではない。ダイの分割方式は、CPU性能を決める複数の設計要素の一つにすぎない。

IPCも、計算ダイの構造だけで決まる指標ではない。VeraのOlympusコアは、一度に最大10命令をデコードする機構や高度な分岐予測に加え、命令間の依存関係を考慮しながら実行順序を変更するアウトオブオーダー実行機構を備える。さらに、グラフ状のデータ構造を先読みする機能も組み合わせ、分岐予測の失敗やメモリアクセス待ちによって演算器が停止する時間を減らそうとしている。これらはコア自体の命令処理能力を高める工夫であり、計算ダイ間の通信を削減する設計とは区別する必要がある。

Veraの性能上の利点を評価するには、コア単体の実行能力、コア間通信の効率、メモリからのデータ供給能力をそれぞれ検証することが重要だ。仮に実際のアプリケーションで競合製品より高速だったとしても、その差をすべて単一計算ダイの効果と結論づけることはできない。NVIDIA開発陣自身も取材の終盤で、将来の市場や求められる性能に応じて設計方式を選ぶと述べており、チップレット技術を一律に否定する立場は取っていない。

Spatial Multithreadingによる176スレッドの性能と限界

Veraのもう一つの特徴が、独自の「Spatial Multithreading」だ。これは88基のOlympusコアそれぞれで2つのハードウェアスレッドを実行し、合計176スレッドを扱えるようにする仕組みである。従来のSMT（同時マルチスレッディング）と同じく、1つの物理コアで複数の処理を進める技術だが、NVIDIAはコア内部の資源をより明確に分割することで、スレッド間の競合を抑える設計を採用した。例えば、主要な計算処理とI/Oなどの補助処理を同じコアで動かし、互いの処理性能への影響を小さくすることを目指している。

ただし、176スレッドに対応することは、176基の物理コアを搭載することとは異なる。各スレッドは同じコアの演算器やキャッシュなどの資源を利用するため、実際の性能向上は処理内容や資源の使用状況によって変わる。Spatial Multithreadingも、共有資源の競合を減らす設計であって、スレッド同士がまったく影響しなくなるわけではない。

この機能については、独立したメディアによる性能測定も公開されている。PhoronixのMichael Larabel氏は9月28日付の検証記事で、2ソケット構成のVeraサーバーを使用し、SMTの有効・無効による性能の違いを調べた。試験環境は合計176コア・352スレッドで、Ubuntu 24.04、Linux 6.17の64Kページカーネル、GCC 15.3を使用している。

検証結果では、並列度が高く、一般にSMTの恩恵を受けやすいワークロードにおいて、約20％の性能向上が確認された。一方で、消費電力の増加も観測されている。また、OpenFOAMを使った大規模メッシュの処理時間や実行時間の測定では、SMTを無効にした方が高速だった。Spatial Multithreadingが処理能力の向上に役立つことは確認されたものの、その効果はワークロードによって異なり、常に有効にすることが最適とは限らない。

今回の試験が測定したのは、特定の並列処理におけるSMTの性能への影響だ。AIエージェントがツールの実行結果を受け取るまでの時間や、処理全体の遅延が最も大きくなるケースで、同様の改善が得られることまで証明したわけではない。Wccftechの取材で紹介された、SMTによる性能上の不利益はなく、むしろ性能が向上するというNVIDIA側の説明も、こうした独立試験の結果を踏まえて評価する必要がある。

AD

AIエージェント時代のCPU性能をどう評価すべきか

今回の取材では、AIシステムにおけるCPUとGPUの比率についても質問があった。Wccftechは、CPUとGPUの比率が80対1に達する可能性を尋ねたが、NVIDIAの開発チームはその数字を支持せず、具体的な比率について見解を持っていないと回答した。これは、AIの普及に伴ってCPU側の処理需要が増えるという見通しと、特定のCPU・GPU比率を予測することが別の問題であることを示している。

NVIDIAがCPUのみを搭載したラックの需要拡大を見込んでいることも、GPUをCPUで置き換えるという意味ではない。GPUがAIモデルの学習や推論を担当し、CPUが生成されたコードの実行、評価環境の管理、次の入力データの準備などを担うという役割分担が前提となる。AIエージェントの活用が広がれば、GPUの演算性能だけでなく、GPUに処理を戻すまでのCPU側の作業時間も重要になる。そのため、適切なCPUとGPUの構成比は、固定された数字ではなく、実際のワークフローで発生する処理量と待ち時間から判断する必要がある。

Veraの導入効果を評価するには、同じ数のAIエージェントや評価環境を並列実行し、処理全体の完了時間、単位時間当たりの処理件数、消費電力を比較することが欠かせない。メモリ構成や並列度もそろえ、性能差がCPUコア自体の速さによるものなのか、通信やメモリの効率によるものなのかを分析する必要がある。例えば、外部APIやストレージへのアクセス待ちが処理時間の大半を占める場合、CPUの演算性能を高めてもシステム全体への効果は限られる。反対に、CPU上の逐次処理が次のGPU推論を妨げている場合、その処理を高速化する価値は大きい。

NVIDIAがVeraで重視するのは、多数のAIエージェントを同時に稼働させながら、個々の処理を速やかに完了させ、次のGPU処理へつなげる能力だ。従来のサーバーCPUで重視されてきたコア数や総処理能力に加え、高負荷時のシングルスレッド性能と処理全体の待ち時間が、AI向けCPUの重要な評価軸になっている。ただし、Veraの設計上の優位性を判断するには、実際のAIエージェントのワークフローを使い、処理時間と電力効率の両面から競合製品と比較する必要がある。

冒頭でVeraの結論を先に示す全体をもう少し短く整理する