Microsoftは2026年11月19日、対応するWindows PCをUSB4ケーブルで直結し、1台のメモリには収まらない大規模AIモデルを複数のPCに分散して動かす「RDMA over USB4」の開発者プレビューを発表した。対応するWindows InsiderビルドはExperimental Channel(Future Platforms)で近日提供予定だが、通信を担うNetworkDirectプロバイダーとllama.cppベースのサンプルコードはすでに公開されている。Intelの試験では、メモリ64 GBのPC 1台には収まらないAIモデルを、同じ仕様のPC 3台で動作させることに成功した。ただし、4台に増やした場合は生成速度が向上する一方、回答の出力が始まるまでの時間は延びており、PCの追加が必ずしもすべての性能指標を改善するわけではないことが分かる。
1台に収まらないAIモデルをUSB4で分散処理
RDMA over USB4では、対応する推論フレームワークが「テンソル並列」と呼ばれる手法を使い、1つのAIモデルの演算を複数のPCに分散する。各PCのメモリにモデルの一部を配置し、それぞれのGPUで計算することで、1台ではメモリ容量が不足する大規模モデルも実行できる。ただし、分散した計算結果を統合する必要があるため、トークンを1つ生成する間にもPC間で何度もデータをやり取りする。Microsoftが公開したllama.cppの検証用フォークには、モデルの分割処理に加え、PC間通信にNetworkDirectを利用するRPCバックエンドが組み込まれている。
Windows 11には、USB4を介してPC同士を接続する機能がすでに備わっている。今回Microsoftは、WindowsのUSB4接続マネージャーがPC間に確立する通信経路に、RDMA(Remote Direct Memory Access)を利用できる仕組みを追加した。RDMAは従来のネットワーク処理の多くを省き、PC間でメモリのデータを直接転送する技術である。新しいプロバイダーは、USB4ホストルーターのDMAリングを使って送受信を処理し、あらかじめ登録したメモリ領域間で余分なソフトウェアコピーを発生させずにデータを転送する。
アプリケーションが利用するNetworkDirectは、WindowsでEthernetやInfiniBandの専用RDMAアダプター向けに使われてきたインターフェースである。今回のプレビューでは、対応するUSB4ポートとケーブルを使ってPCを直結するだけで、NetworkDirectによる通信が可能になる。専用のRDMAアダプターやネットワークスイッチを追加する必要はない。公開されたNetworkDirect v2プロバイダーは、送信側と受信側がそれぞれ送信・受信操作を行う方式に対応している。
MicrosoftがPC 2台で測定した小容量メッセージの往復遅延は約28~50 µsで、同じUSB4リンクを使ったEthernet(UDP)通信の約4分の1だった。例えば16 KiBのメッセージでは、Ethernet over USB4の194 µsに対し、RDMA over USB4は50 µsとなっている。40 Gbpsと80 GbpsのUSB4リンクではRDMAの遅延は同程度に低く、80 Gbpsの方が公称帯域幅は2倍になる。Microsoftによると、長い入力を扱うような通信量の多い処理では80 Gbpsが有利になる場合がある一方、頻繁にデータをやり取りするテンソル並列では、通信1回あたりの遅延も性能を大きく左右する。
Microsoftの研究施設では、Radeon 8060Sと128 GBのユニファイドメモリ(CPUとGPUが共有するメモリ)を備えたRyzen AI Max搭載ミニPC 3台を、40 GbpsのUSB4で相互に直結した。AMDが最適化したllama.cppを使用し、2,350億パラメータの混合エキスパート(MoE)モデル「Qwen3-235B-A22B」の4ビット量子化版を実行したところ、約18.5トークン/秒の生成速度を記録した。
AMDも別途、Ryzen AI Max+ 395搭載ミニPC 3台を使って、同じモデルの4ビット量子化版(Q4_K_M)を測定している。コンテキスト深度1,600トークン、生成トークン数2,048の条件で、出力開始後の生成速度は21.98トークン/秒、入力プロンプトの処理速度は117.98トークン/秒だった。後者は入力を1秒間に何トークン処理できるかを表す指標であり、回答が始まるまでの待ち時間とは異なる。Intelは、この待ち時間を最初のトークンが出力されるまでの時間として別途測定している。
4台目を追加すると生成速度は向上するが、最初の応答は遅くなる
Intelが試験した「GPT-OSS-120B」は、約1,200億パラメータを持つAIモデルで、今回使用したメモリ64 GBのPC 1台には収まらない。試験では、Intel Core Ultra Series 3搭載PCを3台または4台使用し、各PCに64 GBのメモリ(転送レート9,600 MT/s)を搭載した。PC同士はThunderbolt 4ポートを介して直接接続し、すべてのPCが互いにつながるフルメッシュ構成で同じモデルを実行している。
Intelは、入力を与えてから最初のトークンが出力されるまでの時間(Time to First Token:TTFT)と、出力開始後の生成速度(Decode Speed)を測定した。Microsoftが公開した測定結果では、コンテキスト長1Kと2Kのそれぞれについて、PC 3台と4台の性能を比較できる。
| コンテキスト長 | 最初のトークンまで(3台 → 4台) | 生成速度(3台 → 4台) |
|---|---|---|
| 1K | 1.1秒 → 1.2秒 | 49.4 → 54.2トークン/秒 |
| 2K | 2.9秒 → 3.2秒 | 49.4 → 51.7トークン/秒 |
PCを3台から4台に増やすと、生成速度はコンテキスト長1Kで約9.7%、2Kで約4.7%向上した。増加率は、それぞれ4台構成と3台構成の生成速度の差を3台構成の速度で割り、100を掛けて求めた値である。一方、最初のトークンまでの待ち時間は、1Kで0.1秒、2Kで0.3秒延びた。
4台目の追加によって増えた生成量は、1Kで毎秒4.8トークン、2Kで毎秒2.3トークンとなる。最初の出力が始まるまでの時間は延びるものの、生成する文章が長くなるほど、その後の生成速度の差が全体の処理時間に影響する。つまり、PCを増やす効果は入力の長さや出力するトークン数によって変わる。なお、Intelが公開した表には、生成トークン数や測定の反復回数、結果のばらつき、最初のトークンまでの待ち時間の内訳は記載されていない。
4台のPCを直結するには各PCに3ポート、ケーブルは6本必要
Microsoftが求める基本構成は、Windowsが管理するUSB4ポートを備えた対応PCを2台以上用意し、各PCをUSB4ケーブルで直接接続するというものだ。全PCが互いに直接通信できるフルメッシュ構成では、3台ならケーブル3本、4台なら6本が必要になる。PCがN台の場合、それぞれのPCに必要なUSB4ポートはN−1口であり、ケーブルの総数は次の式で求められる。
[ \frac{N(N-1)}{2} ]
2台の場合は各PCのポートを1口ずつ使い、ケーブル1本で接続できる。3台では各PCに2口、4台では各PCに3口のUSB4ポートが必要だ。既存の3台構成に4台目を追加する場合は、ケーブルを3本追加するだけでなく、既存のPCにもそれぞれ空きポートが1口ずつ必要になる。
さらに、USB4ホストルーターでは、RDMAリンク1本につきデータ用と制御用のDMAリングをそれぞれ1対使用する。このため、PCに搭載されたUSB4ポートとDMAリングの数が、構築可能なクラスターの規模を制限する。Microsoftは、PCを数珠つなぎにすると性能が大きく低下するとして、すべてのPCを直接接続する構成を推奨している。
開発者プレビューを利用するには、対応するWindows Insiderビルド、プレビュードライバー、NetworkDirectプロバイダーのバージョンをすべてのPCでそろえる必要がある。RDMA over USB4は初期状態では無効であり、有効化にはレジストリの設定とテスト署名の有効化が必要だ。テスト署名を有効にするにはSecure Bootを無効にする必要があるため、Microsoftは普段使いのPCではなく、専用のテストPCを使うよう勧めている。対応Insiderビルドの配布日や正式版の提供時期、一般提供時の対応機種と最終的な要件は公表されていない。
PCを接続した後は、USB4リンクごとに異なるサブネットを割り当て、両端のネットワークインターフェースに固定IPv4アドレスを設定する。Microsoftは、各リンクの接続確認用ツールとして「ndping」を提供している。なお、今回のプレビューには通信が切断された際の自動再試行機能がなく、接続が失われた場合はアプリケーション側で再接続する必要がある。具体的な設定方法はNetworkDirectプロバイダーのGitHubリポジトリで公開されている。
Microsoftのllama.cppサンプルは、最初にTCPで接続を確立し、NetworkDirectによる通信へ切り替える仕組みになっている。対応するプロバイダーがインストールされていない場合や、アダプターを利用できない場合はTCP通信のまま処理を続けるため、プログラムが起動しただけではRDMAが使われているか判断できない。実際にRDMAが有効になっているかは、対象リンクごとに「NetworkDirect activated:」というログが出力されることで確認できる。詳しい動作と確認方法はllama.cppフォークのRPC文書に記載されている。
今回の試験では、1台では実行できない大規模AIモデルを複数のWindows PCで動作させ、4台構成による生成速度の向上も確認された。一方、実際に利用する場合は、必要なUSB4ポートを確保できるかに加え、入力の長さや生成する文章量に応じて応答時間と生成速度がどう変化するかが、PCを追加する際の判断材料となる。



