ローレンス・リバモア国立研究所(LLNL)にて、新たなスーパーコンピューティング・クラスター「Lynx」が本格的な稼働を開始した。このシステムは、米国国家核安全保障局(NNSA)の汎用技術システム(CTS-2)プログラムの一環として導入されたものであり、同局の高度シミュレーションおよびコンピューティング(ASC)プログラムや、広範な国家安全保障ミッションのための計算能力を提供する。

Lynxは全体で952のノードから構成されており、サーバーの基盤にはDellのPowerEdgeが採用されている。演算処理を担うCPUには、コードネーム「Sapphire Rapids」で知られる第4世代のIntel Xeon Scalableプロセッサが搭載されている。スーパーコンピュータとしては比較的標準的なハードウェア構成に見えるが、Lynxの最大の特徴は、その内部のデータ通信を担うネットワークインターコネクトにある。

従来のエネルギー省(DoE)傘下の研究所のシステムでは、HPE Cray独自のSlingshot 11やNVIDIAのInfiniBandが広く使われてきた。しかし今回、LLNLはこれらの主流技術ではなく、Cornelis Networkの「CN5000」シリーズに基づくOmni-Pathファブリックを選択した。この決定は、特定のベンダーに依存しないインフラ構築の推進という側面を持ち、HPCおよびAIワークロードにおけるネットワーク技術の多様化を示す具体的な動きとして注目を集めている。

AD

Omni-Path技術の復活とInfiniBand供給逼迫の背景

Omni-Pathという技術名称は、HPC業界において長く知られてきた。その起源は2015年にIntelが開発したロスレス・インターコネクト技術に遡る。ロスアラモス国立研究所の「Trinity」や「Cori」など、初期のDoEのスーパーコンピュータで採用された実績を持つものの、Intelは2019年に同事業の開発を中止した。その後、同事業は2020年にCornelis Networkとして独立スピンオフを果たしている。事業の独立後、Cornelis Networkは技術開発を継続し、2025年に400Gbpsの接続速度を誇るCN5000ファミリーのネットワークインターフェイスカード(NIC)とスイッチを発表した。この新製品は、リニアに近いパフォーマンスの拡張性を実現しており、DoEからの関心を再び集める結果となった。昨年の夏にLynxシステムへの採用が決定し、今回の稼働開始へと至っている。

現在のHPCネットワーク市場において、InfiniBandは極めて入手が困難な状況にある。大規模言語モデル(LLM)のトレーニングをはじめとする生成AIの爆発的な普及により、世界中のデータセンターがGPUクラスターの構築を急いでいるためだ。AIモデルの学習プロセスでは、数千から数万基のGPU間で膨大な勾配データを同期する必要があり、わずかな通信遅延やパケットロスが全体の計算処理をストップさせてしまう。そのため、低遅延かつ広帯域なInfiniBandへの需要が集中し、供給が全く追いついていない。

DoEの研究所に配備されている既存のCrayシステムの多くは200Gbpsで稼働しているが、CornelisのCN5000は400Gbpsの帯域幅を提供する。これにより、Omni-Pathは代替品という位置付けを超え、現行のインターコネクトにおいて最高クラスの通信速度を提供する有力な選択肢となっている。特定ベンダーの供給力に依存せず、かつ要求の厳しいワークロードを処理できるインフラの整備は、国家主導の研究機関にとって急務であり、Omni-Pathの採用はその課題に対する現実的な解釈を提示している。

91%のスケーリング効率がもたらす演算性能の底上げ

計算ノード数が増加する大規模なクラスターにおいて、ネットワークインターコネクトはシステム全体のボトルネックになりやすい。数百から数千のノードが相互に通信する環境下では、データの衝突(輻輳)や再送による遅延が蓄積し、結果として高価なCPUやGPUがデータ待ちの状態でアイドリングしてしまう「通信オーバーヘッド」が発生する。Cornelis NetworkのCEOであるLisa Spelman氏によれば、Lynxの稼働によって、CN5000ポートフォリオの高いスケーリング効率が実際の運用で証明された形だ。実際の運用において、Lynxは91%という極めて高いネットワークスケーリング効率を達成している。

この91%という数字は、ネットワークの非効率性による性能低下を1割未満に抑え込んでいることを意味する。Omni-Pathアーキテクチャの根幹をなすパケットレベルでの微細な輻輳制御メカニズムが、データトラフィックの渋滞を未然に防ぎ、パケットロスを排除することでこの効率を実現している。この高いスケーリング効率は、システム全体の演算能力に直接的な影響を与える。

ネットワークの効率性が極めて高いため、より新しいプロセッサを搭載しつつもネットワークのボトルネックに苦しむ同規模のクラスターよりも、旧世代のCPUを搭載したLynxの方が実際のアプリケーション実行において高い性能を発揮する可能性が指摘されている。これは、大規模なHPCおよびAIインフラにおいて、個々の演算ユニットのスペックと同等以上に、ノード間のデータパスの最適化がシステム全体の処理能力を決定づけるという事実を示している。

AD

800Gbps時代を見据えた次世代の競争環境

HPCネットワークにおける技術競争は、すでに次の段階へと移行しつつある。Cornelis Networkの技術開発はこれにとどまらず、同社は今年後半に、PCIe 6.0互換CPUの登場に合わせて、800Gbpsに対応する次世代製品「CN6000」の市場投入を計画している。現在のPCIe 5.0接続では標準的なNICの帯域幅が実質的に400Gbpsに制限される。NVIDIAなどはこの制約を回避するため、大型のPCIeスイッチをNICに統合して内部的な帯域幅を確保する複雑なアプローチを採用しているが、これにはコストと消費電力の増大という代償が伴う。

対してCornelis Networkは、よりシンプルでコスト効率の高い設計を目指している。さらに注目すべきは、CN6000においてEthernet RoCEv2およびUltra Ethernet Consortium(UEC)標準のサポートが予定されている点だ。AIネットワークインフラにおけるNVIDIAの支配的なシェアに対し、大手テクノロジー企業や通信事業者はオープンな規格によるエコシステムの構築を急いでおり、その中心となるのがUltra Ethernetである。

特定のプロトコルに縛られない相互運用性の確保は、既存のデータセンター環境への導入ハードルを大きく下げる。Cornelis Networkが独自の高性能インターコネクト技術をイーサネットのエコシステムと融合させることで、次世代の800Gbps市場におけるNVIDIAの対抗馬としての存在感はさらに高まっていくと予想される。