AIモデルのスケールアップが急加速するなか、GPU性能の向上ペースと、それを支えるメモリの帯域幅・容量の成長速度とのあいだに、埋めがたい溝が広がっている。GPU側の演算能力はアーキテクチャ世代を重ねるたびに飛躍的に伸び続けているが、データを格納・供給するメモリの転送速度はその速度についていけていない。半導体業界はこの構造的なボトルネックを「メモリウォール（Memory Wall）」と呼ぶ。
HBM（High Bandwidth Memory）の登場はこの問題に対する有力な回答だった。従来のDDR系メモリとは異なり、HBMはメモリダイを縦方向に積層してシリコン貫通電極（TSV）で接続するアーキテクチャを採用することで、圧倒的な帯域幅を実現した。NVIDIAのH100やB200といったAIアクセラレーターへの採用が進むにつれ、HBMはAI基盤インフラの中核部品としての地位を固めてきた。
しかし、そのHBM自身も、AIの急膨張する要求仕様の前でいよいよ限界に差し掛かっている。容量・帯域幅ともに現行のアーキテクチャが想定していた成長曲線を、AIの需要曲線が大幅に上回りつつあるのだ。
垂直積層の限界：「これ以上は積めない」
これまで業界がHBM容量・帯域幅を拡張してきた主な手段は、メモリダイの垂直積層枚数（スタック数）を増やすことだった。HBM2からHBM3E、そしてHBM4へと世代が進むにつれ、8段、12段、16段と積み重ねられてきたが、この方向性は製造難度の急上昇という代償を伴う。
積層数が20段を超えてくると、工程の歩留まり管理は格段に複雑になり、製品高さの規格（JEDECによる寸法標準）もすでに緩和を余儀なくされている状況だ。国際半導体標準化機構であるJEDECが高さ規格を修正したという事実は、垂直積層という技術アプローチ自体が臨界点に達していることを如実に示している。
そうなると次の選択肢は水平方向への展開、すなわちGPUのまわりにHBMを増設することになる。ところがこれも壁に突き当たる。
ショアラインという見えない障壁
現在の主流は「2.5Dパッケージング」と呼ばれる実装方式だ。GPUダイとHBMスタックが単一のシリコンインターポーザー（あるいはブリッジ基板）上に密接して搭載される。この構造ではGPUチップ外周の長さ、すなわち「ショアライン（Shoreline）」の範囲内に配置できるHBM数が物理的に制約される。
TrendForceが引用した国内大手メモリメーカーの研究者は「現在、HBMの帯域幅と容量の拡大に難しさが生じており、光接続でGPUのショアライン限界を突破し、より多くのHBMを搭載する案を顧客と議論している」と述べている。言い換えれば、GPUの「外周」という幾何学的な制約が、メモリ増設の根本的な上限を規定しているのだ。
水平展開も垂直積層も行き詰まった。このデッドロックを打ち破る発想として業界が注目しはじめたのが、GPU・HBMの「物理的分離」という概念だ。
GPU・HBM分離パッケージング：設計の常識を覆す発想
半導体設計の長年の常識は「チップ間距離は最小化せよ」というものだった。伝送距離が延びれば延びるほど信号遅延（レイテンシー）が増大し、電力損失も大きくなる。GPUの真横にHBMを配置してきた理由はここにある。
分離パッケージングのアイデアはこの前提を真正面から覆す。GPUとHBMをそれぞれ独立したパッケージに収め、物理的に距離を置いたうえで、両者を光信号（光インターコネクト）で接続する。光信号は電気信号に比べ伝送損失が少なく、長距離でも高帯域を維持できる。距離の延長を「光の速さ」で埋めるという逆転の発想だ。
この構造が実現すれば、GPUのショアライン制約から解放されたHBMは、ボード上に水平に大きく広がって配置されることになる。現行比で数倍のHBM搭載量が視野に入り、AIアクセラレーターシステム全体のメモリ容量と帯域幅は桁違いに拡大する。
多様なアーキテクチャ案とフォームファクター変更の可能性
具体的なHBMの配置案については、業界内でいまだ複数の設計オプションが並行して検討されている段階だ。先述の研究者によれば、「GPUのすぐ周囲のスペースを広く活用する案」と「GPUボードの下部に隔離する案」の両方が俎上に上がっているという。
後者の場合は特にシステム構成への波及が大きい。HBMをボードの下段に隔離するには、マザーボードを縦方向に延伸させる必要が生じるため、サーバーラックやシャーシ全体のフォームファクターにまで変更が及ぶ可能性がある。この点についてはすでにGPUベンダー（NVIDIAを含む）との協議が進んでいるとされる。
なお、HBMが数センチメートル離れた状態でGPUを囲む配置や、ボード中央に専用のHBMゾーンを設けるといった具体案も浮上しており、どれが最適解かはまだ確定していない。同研究者は「すべての選択肢を検討している状況であり、公式ロードマップとして決定したわけではない」と明言している。あくまでも次世代AIアクセラレーター実現に向けた先行研究の段階だ。
OSAT業界が見つめる光接続の波
この技術トレンドはメモリメーカーやGPUベンダーにとどまらず、OSAT（Outsourced Semiconductor Assembly and Test＝外注半導体組み立て・テスト）業界にも大きな関心を呼んでいる。OSATはその名の通り半導体の後工程を担う企業群であり、先進パッケージングの設計変更は彼らのビジネスモデルそのものに影響する。
あるグローバルOSAT企業の関係者は「光接続は明確な流れだ。問題は時期だけだ」と述べた。その展開シナリオとして、まずラック間・サーバー間の通信が光接続に移行し、その後ボード内のチップ間にも光接続が採用されるという段階的な普及を見込む。「大きな単位から順に光接続化されていくが、現在の光学研究の進展速度を考えると、それほど遠い話ではないかもしれない」という見方だ。
TrendForceのリポートも、新しいGPU・HBMアーキテクチャの議論が進むなかで、OSAT業界が特に光インターコネクト採用の動向を注視していると指摘している。パッケージング工程の設計が抜本的に変わるとすれば、OSATは次世代の生産設備と製造プロセスへの先行投資を迫られることになる。
技術的ハードル：ミリ単位の光学部品を作れるか
GPU・HBM間の光接続は、データセンター内でサーバー同士を結ぶ光ファイバー通信と原理的には共通している。しかし適用スケールがまったく異なる。サーバー間通信に使われる光学モジュールは大型で、物理スペースに余裕がある。それをGPUボードという極めて限られた空間の内部で実現しようとすれば、フォトニクスデバイスを現在のサイズの何分の一にも微細化しなければならない。
国内のCPO（Co-Packaged Optics＝共実装光学）デバイス開発企業の担当者は「原理は既存のデータセンター光接続と同じだが、制限されたボード空間内で動作させるHBM光接続では、光学素子をはるかに小さく高集積に微細化する必要があり、技術難度はより高い」と説明している。
CPOはすでにイーサネットスイッチ向けなどで普及しはじめているが、それをGPU・HBMのような高密度・高速I/O環境に適用するのは別次元の難題だ。熱管理や製造歩留まりの抜本的な改善も不可欠であり、長期的な信頼性の確保はその前提条件となる。業界関係者がこのアーキテクチャを「先行研究の段階」と位置づけているのはそのためであり、量産化に向けたロードマップはまだ流動的な状態にある。
AI半導体設計の地殻変動が始まる
GPU・HBM分離パッケージングと光インターコネクトの組み合わせは、AI半導体の設計哲学そのものを塗り替える可能性を持っている。チップを密接配置するという数十年来の原則を破棄し、「距離は光で補える」という新たな設計パラダイムに移行するということだからだ。
この変化はAI半導体の設計領域を遥かに超え、サーバーラックのフォームファクター、冷却設計、OSATの製造プロセス、さらには光学部品サプライチェーンの構造まで、AIインフラのエコシステム全体に再編を要求する。SK HynixやSamsungといった韓国メモリ大手がNVIDIAなど主要GPUベンダーと並行してこの議論を進めているという事実は、この構想が単なる研究者の提言ではなく、産業界の真剣な検討事項として浮上していることを示している。
ショアラインという目に見えない制約が業界の最大の頭痛の種として認識されてから日は浅い。しかし垂直積層と水平展開の双方が行き詰まったいま、光で「壁」を溶かすという選択肢は、絵空事ではなく実用化を視野に入れた技術課題として急速に具体性を帯びてきている。
