1台あたり数万ドルするNVIDIA  H100 GPUが、データの到着を待って何もしていない。AI推論の現場では、これが日常茶飯事だ。F5のソリューションアーキテクトMark Mengerは「GPUはめったにボトルネックにならない。データを待っているのだ」と述べている。GPUの計算能力はV100からB200にかけて約18倍に成長したが、HBM帯域幅の伸びは約9倍にとどまる。計算とデータ供給の速度差は開く一方であり、ストレージからGPUメモリへの経路がAIインフラ全体の効率を左右する局面に入った。

この問題の根源は、サーバーアーキテクチャの歴史的な設計判断にある。従来のx86サーバーでは、CPUがストレージへのデータアクセスの制御経路（コントロールパス）とデータ経路（データパス）の両方を握っていた。GPUはCPUが用意したデータを受け取る「従属的な加速器」に過ぎなかったのだ。

AD

バウンスバッファという30年来の仲介役

GPUがストレージのデータを読む場合、従来の経路はこうだ。まずストレージからCPUのシステムメモリ（DRAM）へDMA転送が行われ、そこからGPUメモリへ再度コピーされる。このCPUメモリ上の一時的なコピー領域をバウンスバッファと呼ぶ。CPUが仲介することでメモリの整合性やアクセス制御が保証される反面、余分なコピーとCPUの処理遅延が必ず発生する。

NVIDIAが2019年に公開した測定では、DGX-2システムにおいてCPUシステムメモリからGPUへの帯域幅はPCIeツリーあたり約12 GB/s、合計でも50 GB/s程度だった。一方、GPUDirect Storageを使ってNVMeドライブからGPUメモリへ直接転送した場合、合計215 GB/sに達する。帯域幅で約4倍、レイテンシで最大3.8倍の改善が確認されている。CPUの負荷も3分の1に低下した。

指標 バウンスバッファ経由 GPUDirect Storage（cuFile）
DGX-2でのピーク帯域幅 約50 GB/s 最大215 GB/s
80 GBデータ転送のレイテンシ 基準値 3.8倍低減
CPU利用率 基準値 約3分の1に低下
アクセス可能なデータ量 CPUメモリ容量（約1 TB）に制限 ストレージ容量（ペタバイト級）

GPUDirect Storageは2021年7月にCUDA Toolkit 11.4とともに正式リリースされ、cuFile APIがその中核を担ってきた。cuFileは、NVMeドライブなどのストレージデバイスからGPUメモリへDMAでデータを直接搬送する。CPUとシステムメモリを迂回するため、余分なコピーが消え、GPUが数十万のスレッドで並列にデータを取得できるようになる。

ただし、GPUDirect Storageには構造的な限界があった。データパスはGPUに直結したものの、I/Oの「命令」を出すのは依然としてCPUだったのだ。

推論ワークロードが露呈させた制御経路のボトルネック

AI学習では大きなブロックをまとめて読むため、制御経路の遅延は全体に対して相対的に小さい。問題は推論だ。retrieval-augmented generation（RAG）やエージェント型AI、Mixture-of-Expertsモデルは、4 KB未満の小さなブロックをランダムに、かつ大量に読み出す。KVキャッシュの参照、ツール呼び出しの結果取得、スパースなExpert重みのロードがいずれもこのパターンに該当する。

Marvellのフラッシュストレージ製品マーケティングディレクターChander Chadhaは「現在のSSDは4 KB未満のデータセットに対してIOPS面で十分に応答できず、PCIeバスが遊休状態になる。GPUはデータを待ってサイクルを浪費する」と指摘する。SCADA環境ではGPUが1,000以上の並列スレッドで同時にI/Oを発行するが、CPUが制御経路を握っている限り、この並列性をストレージ側に伝えきれない。

AD

SCADAがCPUから制御経路を奪う

NVIDIAがこの問題に対する回答として提示したのがSCADA（Scaled Accelerated Data Access）だ。SCADAは、GPUがストレージI/Oの開始と制御を自ら行うアーキテクチャである。GPUDirect StorageがデータパスをCPUからGPUに移したのに対し、SCADAは制御パスもGPUに移す。GPUスレッドがload/store命令のセマンティクスで直接ストレージにアクセスし、NVMeドライバ自体がGPU内部で動作する。

このアーキテクチャの学術的基盤は、2023年にASPLOSで発表されたBaM（Big Accelerator Memory）論文にある。University of Illinois Urbana-Champaignの研究チームが提案したBaMは、GPUスレッドがCPUを介さずにオンデマンドでストレージにアクセスする初のシステムアーキテクチャだった。GPUメモリ上にソフトウェアキャッシュを構築して冗長なアクセスを統合し、高並列のsubmission/completionキューでストレージデバイスと直接通信する。実験ではCPU起点のストレージアクセスと比べて5.3倍の高速化を達成し、DRAMのみでデータを保持する場合と比べてハードウェアコストを最大21.7分の1に削減できた。

SCADAはこのBaMの設計思想をNVIDIAの製品スタックに組み込んだものだ。2025年11月のSC25カンファレンスでは、MicronがSCADAプログラミングモデルを使った実証デモを披露している。Micron 9650 PCIe Gen6 SSD 44台を搭載したH3 Platform Falcon 6048サーバーで、512バイトのランダム読み出し2億3,000万IOPSを記録した。1台あたり540万IOPSのSSDが44台で線形にスケールし、理論上限の2億3,760万IOPSに近い値を実測したことになる。

セキュリティと速度の両立という難問

ストレージへの直接アクセスには代償がある。アプリケーションがドライブと直接やり取りすると、他のプロセスのメモリを上書きする危険が生じる。いわゆる「clobber」問題だ。従来のOSは、特権レベルの分離やページテーブル、ファイルシステムのプロトコルによってこの問題を防いできた。直接アクセスを許せば、暗号化やアクセス制御といった保護機構も迂回されかねない。

SCADAはこの問題をアーキテクチャの分離で解決する。NVIDIAの公式ブログによれば、SCADAは仕事を二つに分割する。速度が必要なユーザーアプリケーション部分はtrusted computing baseの外側に置き、生の速度を得る。一方、特権コンポーネントが別途存在し、Linuxの標準プロトコルに従ってユーザーアプリケーションと承認済みストレージの間の保護されたアクセスを設定する。設定時のみ特権経路を通り、実行時のデータパスはGPUが直接制御する。この分離により、速度を犠牲にせずセキュリティを維持する。

AD

オープンソース化の狙いとStorage-Nextの全体像

cuFile APIのオープンソース化は、コードを公開するだけの動きではない。NVIDIAの公式ブログは「このAPIがオープンな貢献を受け入れる新たな拠点となる」と述べ、Google、Intel、NVIDIA、Metaが初期メンテナとして参加することを明記している。cuFileはGPUがCPUだけでなくストレージに対しても読み書きを直接行えるようにするインターフェースであり、数十万のGPUスレッドと高速な高帯域メモリを活用して、ストレージからのデータアクセスをマイクロ秒単位で実現する。

同時に発表されたStorage-Nextは、40社以上のストレージおよびフラッシュメモリベンダーが参加する業界横断の取り組みだ。DDN、Kioxia、Micronが名を連ね、ストレージメーカー、コントローラベンダー、熱設計、冷却、オーケストレーションのプロバイダー、標準化団体を一堂に集める。目的は、GPU駆動のストレージがどう振る舞うべきかを合意し、相互運用可能なオープンな業界標準に落とし込むことだ。

DDNのCTO Sven Oehmeは「AIの成功は、組織がどれだけインフラを所有しているかではなく、どれだけ生産的に使うかで決まる」と述べている。DDNはSCADAを自社のソフトウェア定義データインテリジェンス基盤Infiniaに統合する方針を明らかにした。

残された問い

cuFileのオープンソース化は、CUDAエコシステムの外側にどこまで波及するか。現時点でcuFileはNVIDIA GPUとCUDAランタイムに密結合しており、AMDやIntelのGPUが同じインターフェースを採用する保証はない。Storage-Nextが「オープンな業界標準」を掲げる以上、ベンダー中立な仕様の策定が避けられないが、NVIDIAが事実上の仕様策定権を握る構造はどこまで維持されるのか。

SCADA対応のSSDコントローラも未成熟だ。MarvellのChadhaは、PCIe Gen6やGen7のバス高速化に加え、SCADAアクセラレータ機能や小ペイロード向けエラー訂正方式を備えた新世代コントローラが必要だと述べる。Micron 9650は世界初のPCIe Gen6 SSDとして出荷を開始したが、SCADAに最適化されたコントローラの量産が業界全体に広がる時期は未定だ。

セキュリティ面でも検証は途上にある。SCADAの分離アーキテクチャが、実際のマルチテナント環境や敵対的ワークロードに対してどの程度頑健か、第三者による評価はまだ公表されていない。GPUがストレージの制御経路を握る世界では、信頼の境界がCPUからGPUとDPUに移る。その境界の設計が、次の数年でAIインフラの信頼性を左右する。