d-MatrixのRaptorは、3D-DRAMを使うAI推論アクセラレータを「構想」から実シリコンの測定へ進めた。2026年8月23日のHot Chipsチュートリアルと同時期に、Wccftechは「HBMの10分の1」と見出しに掲げた。しかし、査読済みのISCA 2026論文が確定したのは、Raptorテストチップで測ったカード換算約105 TB/s、平均フリット遅延約2.5 ns、そして限定条件でのI/Oエネルギー0.376 pJ/bitである。
これらの数字は、すべて同じ方法で得たわけではない。帯域と遅延、I/Oエネルギー、リフレッシュ挙動は実シリコンから得た値である。一方、LLMのカードあたりスループット（tok/s/card）や出力トークン当たり時間（TPOT）の倍率は、同一の10 PFLOPS XPUに異なるメモリー構成を組み合わせたモデル評価だ。Raptorが製品としてHBM GPUを何倍上回るかは、この論文からは決められない。
Raptorの狙いは、デコード時に繰り返す重みとKVキャッシュの読み出しを速くし、転送電力も抑えることにある。だが商用化では、熱と冗長性を管理し、十分な容量と歩留まりを確保しなければならない。ソフトウェアも必要だ。今回の論文は、その条件を設計に入れたことまでを示した。
105 TB/sと「HBMの10分の1」の距離
ISCA論文によると、Raptorは700 MHzでカード換算約105 TB/s、平均フリット遅延約2.5 nsを測定した。論文はこれをHBM3カード比12.5倍とし、HBM4がHBM3の2倍の帯域になると仮定した場合は6.25倍と比較する。100 TB/sは1スタックや1チップレットの値ではなく、カード全体へ集約した帯域である。
I/Oエネルギーも、測定条件を外すと意味が変わる。100%スイッチングでは0.455 pJ/bitだった値を、ストリームフリッピングでスイッチング率を40〜48%に抑え、0.376 pJ/bitへ18%下げた。測定はVDD1=2.5 V、VDD11=1.1 V、500 MHz、読み出し専用、BL128、8アクティブバンクで行われ、設計目標の700 MHzとは分けて読む必要がある。
Wccftechが掲げた「HBMの10分の1」は、2025年に示された0.3 pJ/bitの目標と、HBM4を約3 pJ/bitとする比較なら成り立つ。だが、2026年の実測0.376 pJ/bitについて論文自身がHBM3の代表値と比べる表現は、約6分の1というものだ。Micronが公開するHBM4ページは絶対値のpJ/bitを示しておらず、現行HBM4製品との直接比較には使えない。
0.376 pJ/bitで100 TB/sを転送すると、I/Oだけでも単純計算で約301 Wになる。これはカード全体の消費電力でも、tokens/Jでもない。むしろ、帯域を上げたときに転送部の電力をどこまで制御できるかを示す数値である。
840バンクを256チャネルで束ねる
Raptorカードは最大4 MCMで構成し、各MCMには4チップレットを置く。チップレットはTSMC N4Pのロジックダイと3D-DRAMダイを36 µmピッチで対面接合し、1.2 GHzで動かす設計だ。1チップレットには840 DRAMバンク、256チャネル、256基のテンソルエンジンを載せる。72バンクを予備に回し、残る768バンクを1チャネル当たり3バンクで使う。
バンクを増やすだけでは、帯域を有効に使えない。Raptorのストリームブロッキングは3バンクから1回96 Bを読み、96 Bの部分バッファと固定2アクセスパターンで128 Bのフリットを組み立てる。余分な読み出しを避ける構成であり、ストリームフリッピングはビット反転を減らしてI/Oエネルギーを下げる。
比較の単位をそろえると、設計の交換条件も見える。論文の基準構成となる3D-DRAMはカード当たり32 GB、100 TB/sである。比較モデルのHBMは192 GB、18 TB/s、SRAMは4 GB、150 TB/sだった。MicronのHBM4 12-highは1スタック当たり36 GB、2.8 TB/s超であり、NVIDIAが暫定仕様として挙げるRubin GPUは288 GBのHBM4と22 TB/sを持つ。Raptorは容量でHBMに劣る一方、カード集約帯域を大きく取る設計である。
熱と欠陥を設計へ織り込んだ
ロジックをDRAMの上に積むと、熱は後から冷却だけで処理できる問題ではなくなる。Raptorはジャンクション温度105°Cで4 msのリフレッシュ間隔を置き、HBMの標準的な32 msより8倍頻繁にリフレッシュする。840バンクを1バンク当たり1364行へ細かく分けたため、論文は700 MHzでリフレッシュによる帯域損失を1.37%と見積もる。
ただし、熱の数字には測定と解析が混在する。422 W/MCM、約106 W/チップレットを前提にした熱解析では、最適化したヒートシンクでピーク約93°C、標準空冷では63 W/チップレットまでなら105°C以下、液冷なら106 Wで60°C未満とした。これは解析モデルであり、販売されるカードの実測熱設計値ではない。
信頼性では、72の予備バンクを分散配置するバンクチェイニングで欠陥バンクを迂回し、チャネル幅を維持する。誤り訂正にはインターリーブした[144,140] Reed-Solomon符号語とバックグラウンドスクラビングを使う。量産を意識した設計の中身は見え始めたが、絶対歩留まりは公開されていない。設計上の対策がどこまで量産歩留まりへ結びつくかは、まだ確かめられない。
4.71倍を生んだ評価条件
論文はLlama-3.1 70B、DeepSeek-V3、Kimi K2、GPT-OSS、Whisper、Canaryを対象に、HBM基準比で平均4.71倍のtok/s/cardを報告した。TPOTはHBM基準の9.96分の1である。SRAM基準比のスループットは2.44倍だった。数字だけを見れば、Raptorの帯域設計が推論の待ち時間を大きく変えるように映る。
評価条件は明示されている。同一の10 PFLOPS XPUへメモリー構成を組み合わせ、ネットワーク遅延を0.5 µs、帯域を1 TB/sに置いたアーキテクチャモデルである。ポアソン到着過程を使うバッチシミュレーションは1秒間走らせ、代表的な負荷を110リクエスト/秒、バッチサイズを32とした。市販のHBM GPUやSRAMアクセラレータを並べた実機比較ではない。
優位が一様でないことも、論文の結果に含まれる。4Kコンテキストかつネットワーク遅延0.5 µs、帯域1 TB/sの条件では、3D-DRAMはHBM比4.38倍、SRAM比3.15倍のtok/s/cardを示したが、遅延が高くなると集団通信のオーバーヘッドで低下する。448トークンのコンテキストを使う音声モデルでは、全メモリー構成が1枚に収まり、SRAMが最も速く、3D-DRAM、HBMの順だった。
Raptorの設計は、すべての推論で最大性能を出すと主張するものではない。重みとKVキャッシュの転送が支配的で、長いコンテキストや大きなモデルがカードをまたぐ条件ほど、帯域と遅延の差が効くという評価である。
商用の判断はHBM置換より先にある
d-Matrixは、3DIMCをRaptorで商用投入するとしている。論文は2-Highと4-Highのチップを実験室で試験中と記すが、200/400 TB/s、64/128 GBはアブレーション検証用の設計点であり、商用仕様ではない。発売日と価格、量産開始時期は公表されていない。顧客、第三者ベンチマーク、絶対歩留まりも不明だ。
32 GBの3D-DRAMは、Rubinの暫定仕様にある288 GBのHBM4より小さい。大規模モデルをどう載せるかは、複数カード、MCMごとの128 GB LPDDR5X二次メモリー階層、または異種アクセラレータの組み合わせに委ねられる。論文はGPUがアテンション、Raptorがエキスパートの重みを主に読むFFNを受け持つ案を挙げる。もう一つは、Raptorがメモリー律速のドラフト生成、GPUが検証を担う投機的デコードだ。いずれも配置案であって、商用実績ではない。
Raptorが次に越えるべきなのは、105 TB/sという測定値そのものではない。量産したカードがどの電力と冷却で動き、どのモデルをどの価格で運び、独立した実機比較でどこまで優位を保てるかが揃って初めて、3D-DRAMはHBMと異なる推論メモリーとして採用判断に乗る。
