OpenAIは2026年8月25日、初の自社設計推論チップ「Jalapeño（ハラペーニョ）」の実測結果を公表した。公開モデル3種を使ったInferenceXで、NVIDIAのGB200またはGB300よりピーク時に1.5〜1.9倍多い処理を1ワット当たりでこなし、応答完了までの時間も1.7〜3.6分の1だったという。6月の初披露で予告した「現行最高水準を大幅に上回る電力効率」に、初めて具体的な数字が付いた。
初代のカスタムASICがここまで動いた意味は大きい。しかし、測ったのは名目8,000トークン入力・1,000トークン出力の固定長推論であり、比較相手に次世代のRubinは入っていない。Jalapeñoが示した優位はどの条件で成立し、OpenAIの計算基盤をどこまで変え得るのか。
3モデルで1.5〜1.9倍の電力効率
OpenAIが使ったInferenceXは、推論サーバーのスループットと利用者が感じる速さの関係を連続した曲線で測る公開ベンチマークである。高い並列度で大量の要求をさばけば、通常は1人当たりの応答が遅くなる。Jalapeñoは、一定の応答速度を守りながら処理量を増やす「パレート前線」を3モデルすべてで更新したとOpenAIは説明する。
| モデル | 比較相手 | ピーク時のmixed TPS/kW | E2E遅延 | 最小TBT |
|---|---|---|---|---|
| GPT‑OSS 120B | GB200 | 85,448対44,960（約1.9倍） | 1.03秒対1.80秒 | 0.69ms対1.87ms |
| DeepSeek R1 670B | GB300 | 19,641対11,781（約1.7倍） | 1.65秒対5.99秒 | 1.43ms対5.90ms |
| Kimi K2.5 1T | GB300 | 18,195対11,862（約1.5倍） | 1.56秒対5.31秒 | 1.44ms対5.48ms |
mixed TPSは入力と出力を合わせた1秒当たりのトークン処理量、TBTは生成中のトークン間隔である。ピークの電力効率と最小遅延を同じ運転点で測った表ではない。それでもDeepSeek R1では最小TBTが5.90msから1.43msへ縮まり、1人当たりの生成速度は169から700トークン/秒へ上がった。Jalapeñoは、ピーク効率と最小TBTの双方で比較対象を上回った。
KVキャッシュの移動を減らす協調設計
LLM推論は、入力をまとめて読むprefillでは演算能力を使い、1トークンずつ答えを出すdecodeではメモリー帯域に縛られやすい。巨大なMixture of Experts（MoE）モデルでは、必要な重みやKVキャッシュをチップ間で移す時間も無視できない。GPUは幅広い計算を担えるが、その汎用性を保つ複雑なメモリー階層とソフトウェア互換性も抱える。
JalapeñoはLLM推論を主目的に、モデル状態を使う場所の近くへ置く設計を採った。計算コア、メモリー、チップ間ネットワークを一体で組み、prefillとdecodeの比率が変わっても同じアクセラレーター群を割り当て直せる。OpenAIによれば、KVキャッシュの移動と通信待ちを減らすことで、ピーク演算性能を小さなバッチでも引き出しやすくした。
ソフトウェアの立ち上げにも生成AIを使った。OpenAIは初期設計からテープアウトまで9カ月で進め、当初の製品計画になかったオープンウェイト3モデルを2カ月で高性能化したという。GPT‑OSSの一部のattentionとMoEブロックでは、AIが生成した実装が人間の専門家による既存実装より1.5〜1.8倍速かった。ただし、これは選んだ演算ブロックの数字であり、モデル全体が同じ比率で速くなったという結果ではない。
8K/1K固定長が測らなかった実運用
公表グラフの分母は、実測した設備全体の電力ではない。OpenAIはJalapeñoを公称700W、GB200を1,200W、GB300を1,400Wとして、各アクセラレーターのパッケージTDPで正規化した。Jalapeñoの持続消費電力は今回の負荷で550W以下だったものの、計算には700Wを使っている。ホストCPU、ラック内ネットワーク、冷却や電力変換まで含むtokens/MWでも、購入価格を含む総保有コストでもない。
負荷も名目8K入力・1K出力の単一ターンで、予測した複数トークンを一度に確定するmulti-token predictionを使わないsingle-token predictionだった。実際のAIエージェントでは会話のたびに文脈が伸び、ツール呼び出しの間に処理が止まり、保存したKVキャッシュを何度も再利用する。固定長テストは、ルーターやキャッシュ管理、障害からの復帰を含む長時間運用を測っていない。
SemiAnalysisはOpenAIのラボに入り、InferenceXの実行を目視で確認した。独立した確認として価値はある。一方で、数値はOpenAIから提供され、同社はInferenceXの全テストも、長文脈・複数ターンを再生するAgentXも走らせていないと明記している。NVIDIAも固定8K/1Kを単一ターンの制御された負荷と説明し、現在はAgentXを実運用に近い比較として前面に出す。Jalapeñoの次の試験は、この条件差を埋める再現測定になる。
RubinとCUDAを置き換えたとは言えない
OpenAIの公開表でJalapeñoと直接対決したのはGB200とGB300であり、Rubinではない。「Rubinも上回った」という評価は、SemiAnalysisがJalapeñoの今回値と、別時点に公表されたVera Rubinの結果を並べて導いたものだ。モデルと入力長が異なり、推論方式もソフトウェアの成熟度も揃った同時測定ではない。
NVIDIAは8月24日、Vera Rubin NVL72がAgentXのDeepSeek V4 Pro 1.6Tで、160トークン/秒/ユーザー時にGB300の最大30倍のスループット/MWを記録したと発表した。こちらもNVIDIAによる初期測定で、SemiAnalysisの審査は終わっていない。Jalapeñoの8K/1K値とRubinのAgentX値を倍率のまま比べれば、異なる競技のスコアを足し合わせることになる。
CUDAを巡る評価も同じである。3つの大規模モデルを短期間で動かし、低遅延まで詰めた事実は、OpenAIが自社用途なら新しいソフトウェア基盤を速く立ち上げられることを示す。だが、CUDAが支える多数のライブラリー、学習やHPC、外部開発者向けの互換性まで代替した証拠にはならない。OpenAI自身も、NVIDIAなどのアクセラレーターを学習と推論へ引き続き広く配備すると明記している。
年内配備と10GW計画の間にある量産の壁
Jalapeñoは現在、量産資格認定とソフトウェア成熟を進めるエンジニアリングサンプルである。OpenAIは2026年末までに自社の計算基盤へ配備を始める予定で、Gen 2は本格開発中、Gen 3も設計の方向を固めつつある。Broadcomがチップ実装とネットワーク、Celesticaが基板からラック統合までを担う。
背後には、OpenAIとBroadcomが2025年10月に発表した10GWの複数年計画がある。対象ラックは2026年後半に配備を始め、2029年末までの完了を目指す。ただし、10GWは複数世代のカスタムアクセラレーターとネットワークを合わせた規模で、初代Jalapeñoが年内に10GW分動くという意味ではない。発表時点で、ラック配備について両社が明らかにした契約状態はterm sheetの締結だった。
SemiAnalysisは、A0版で得た今回の測定に続き、性能/ワットを約25%改善するB0版が製造中で、量産は2027年に徐々に増えると報じている。128基のJalapeñoを収めたASICラックとホストラックを合わせ、約160kWを供給する構成だという。こうしたシステムが年末の初期配備を越えて安定稼働し、AgentXと設備全体の電力で優位を再現できれば、OpenAIは電力制約の厳しい推論を自社設計へ移す現実的な選択肢を得る。
