Google CloudのNikhil Cherian氏が2026年9月1日、SEMICON Taiwanのメモリ関連フォーラムで、AIの「メモリの壁」にハードウェアとソフトウェアの両面から対応する方針を説明した。講演概要は、HBMと先進DRAMをAIサーバーの主要なコスト要因に挙げている。

容量が足りなければモデルや会話の履歴を保持できず、容量を確保してもデータの転送が遅ければ高価な演算器が待たされる。Googleは用途に応じたTPUの設計と、KVキャッシュを6分の1にする圧縮を組み合わせるが、どれだけ費用が下がるかは、メモリに何を置き、どこへ運ぶかで変わる。

AD

75%という部品費と、膨らむKVキャッシュ

時報資訊は、Cherian氏が高性能メモリの費用はAIサーバーの部品費（BOM）の75%超に達すると述べたと報じた。ただし、対象となるサーバー構成や調達条件、HBMとDRAMの内訳は示されていない。Google全体の設備投資や、一般的なAIサーバーの平均費用として扱うことはできない。

生成AIの推論では、過去のトークンを毎回最初から計算し直さないために、各層で作ったkeyとvalueをKVキャッシュとして保持する。応答が続くほど保存する履歴は増える。Hugging Faceの解説が示すように、概算の容量は、モデルの層数やKVヘッドの構成に応じて決まる。そこへ保存するトークン数と同時に処理する系列数、数値の保存に使うバイト数を掛け合わせる。長い文書を読むサービスや、多数の会話を同時に処理するサービスでは、モデル本体の重みに加え、この履歴がメモリを押し広げる。

共有するキャッシュ、古い履歴を切り捨てる実装、特殊な注意機構を持つモデルでは挙動が変わる。それでも、会話が長く、同時接続が増えれば容量が増すという関係は、サービス設計の出発点になる。量子化は要素当たりの容量を減らすので、最も直接に効くのはKVが占める部分である。

一方、学習済みのパラメータである重みは別勘定である。複数の専門家ネットワークを使い分けるMoE（混合エキスパート）のうち、疎なモデルはトークンごとに一部の専門家だけを計算して演算量を抑える。全専門家をメモリに載せる通常の提供構成では、選ばれなかった専門家も含めた重みを保存しておく必要がある。MoEの解説が指摘する通り、計算に使わない重みまでメモリから消えるわけではない。KVを圧縮しても、重み、学習用の状態、SSDに置いたデータが自動で小さくなることはない。

75%は部品費の構成比、6分の1はKVデータの容量比だ。高性能メモリのうちKVが使う容量も、容量を減らしたときの調達価格も分からない以上、この二つの数値からサーバーの費用削減率は求められない。

TPU 8tと8iで異なるメモリの使い方

Googleが4月22日に技術解説を公開したTPU第8世代は、8tと8iでメモリへの向き合い方を分けた。TPU 8t／8iの技術解説は、8tを大規模事前学習、8iを低遅延推論とポストトレーニングへ主に向ける。HBMは演算チップの近くに置く大容量・高帯域メモリ、SRAMはチップ内部の高速な小容量領域である。表の容量・帯域・演算性能は、同世代のチップ単体でそろえた公表仕様だ。

項目 TPU 8t TPU 8i
主な用途 大規模事前学習 低遅延推論・ポストトレーニング
HBM容量 216GB 288GB
HBM帯域 6528GB/s 8601GB/s
オンチップSRAM 128MB 384MB
ピークFP4性能 12.6PFLOPS 10.1PFLOPS
接続と主な狙い 3Dトーラスで大規模に接続 BoardflyとCAEで通信・集約を短縮

8tは3Dトーラスで9600チップをつなぐ。1チップの216GBを9600個分合計すると2,073,600GB、十進換算で2.0736PBとなり、接続した全体のHBMは計算上約2PBとなる。ただし、チップごとに分かれたメモリへは接続網を介してアクセスするため、2PBをチップ単体のローカルメモリのように使えるという意味ではない。通信や分散配置の制約まで消えるわけではない。

8iは、より多くの常用データを384MBのSRAMへ置き、Boardfly接続とCAEでチップ間の通信と集約を短くする狙いを持つ。CAEは集約処理に使う専用エンジンである。ただし、全モデルの重みや全会話のKVキャッシュがSRAMに収まるという話ではない。仕様からは、8iがピークFP4性能では8tを下回る一方、HBM容量と帯域、SRAMを増やした設計だと分かる。演算器へデータを届け、応答を待たせないことに重心がある。ピーク演算性能の大小で、実際の推論の速さは決まらない。

学習向けの8tに導入するTPUDirect Storageは、ホストCPUを経由するデータ経路の詰まりを避け、ストレージからTPUへ送る仕組みである。HBM容量を増やす機能でも、KVを圧縮する機能でもない。

8t／8iは4月に発表され、TurboQuantも3月24日にGoogle Researchが紹介済みだ。9月の講演では、これらをメモリ制約への対策としてまとめて説明した。9月4日に確認したGoogle Cloudの製品ページでは、8tと8iはいずれも提供予定の表示になっている。

AD

TurboQuantの3ビットと8倍を読み分ける

TurboQuantが圧縮するのは、推論中に蓄積するKVキャッシュである。Google Researchの紹介は、KVキャッシュを3ビットへ量子化して試験したモデル品質を維持し、長文中の情報検索課題でKVメモリを少なくとも6倍圧縮したと説明する。モデルを再学習したり、追加で微調整したりせず適用できる点も特徴だ。

圧縮は可逆ではない。Amir Zandieh氏らによる2025年4月公開のプレプリントで著者らは、量子化が本質的に情報を失う処理であることを明記する。TurboQuantはランダム回転で座標ごとの値の偏りをならし、低ビットに落としやすくする。内積を使う版では、残差を1ビットのQJLで補正し、内積推定の偏りを抑える。元の数値を完全に復元する可逆圧縮とは異なり、必要な計算精度を保ちながら保存量を減らす技術である。

ただし、3ビット化と最大8倍の高速化は評価条件が異なる。Googleが示した最大8倍は、H100上で4ビットのキーを使う注意スコアの計算を、32ビットの非量子化キーと比べた条件の値だ。KV容量の削減と注意スコアの高速化では、ビット数も測る対象も違う。推論全体が8倍速くなるという意味でも、TPUで測った値でもない。

プレプリントの表1には、品質とビット数の関係を示す実測値もある。Llama-3.1-8B-InstructをLongBench-V1で評価した例では、量子化しない16ビットのキャッシュと3.5ビットの平均スコアはともに50.06、2.5ビットは49.44だった。これはプレプリント版の一つの実験であり、GemmaやMistralを含むブログの3ビット評価と同じ試験ではない。モデル、文脈長、質問の種類が変われば、使える圧縮率も変わる。

6分の1への圧縮で総メモリはどれだけ減るか

総メモリ使用量の削減率を決めるのは、圧縮前にKVが占めていた割合だ。全使用メモリをM、KVキャッシュが占める割合をf、KVを6分の1へ圧縮し、それ以外の容量は一定、圧縮に伴う追加領域は無視すると置く。このとき圧縮後の使用量は、M×(1-f)+M×f/6となる。削減率はf×5/6である。

圧縮前にKVが占める割合（仮定） 総メモリ使用量の削減率
20% 16.7%
50% 41.7%
80% 66.7%

KVキャッシュが全体の50%なら、6分の1への圧縮で総メモリ使用量は41.7%減る。

同じ圧縮技術でも、重みの比率が高い短い要求では効き方が小さい。反対に、長い文書を保持し、多数の会話を並列で扱う場面ではKVの比率が上がり、同じ圧縮率でも節約できる容量が大きくなる。表の各行は、モデルと文脈長、同時に処理する系列数を圧縮前後で固定した仮定の比較である。Googleの実測値でもなければ、購入するHBMの数量、処理速度、同時接続数を直接示す数値でもない。

費用へ移すには、さらに条件が要る。空いたHBMに会話を増やせば、1回の要求に必要な容量が減っても、施設全体の搭載容量は変わらないかもしれない。KVを圧縮すればそのデータの転送量も減らせるが、重みの読み出しやチップ間通信が待ち時間の多くを占める場合、応答全体は同じ割合では速くならない。容量を節約するソフトウェアと、データを届けるハードウェアの改善は、それぞれ異なる制約に効く。

AD

圧縮と需要拡大が同時に進む条件

TrendForceは8月25日、主要クラウド事業者の総設備投資に占めるDRAMとNANDの比率が2026年に47%、2027年に68%へ上がると予測した。サーバーDRAMの契約価格は2026年に約270%、企業SSDは約235%上昇するとの見通しも示している。

ただし、TrendForceの47%と68%はクラウド事業者の設備投資を分母にした予測であり、時報資訊が伝えた75%はAIサーバーの部品費における比率である。NANDも数える設備投資予測とは対象が異なり、75%を別の調査が裏付けたことにはならない。

圧縮で1要求当たりのメモリ負担が下がり、演算や帯域に余力があれば、事業者は同じ設備で長い文脈や多い同時接続を扱えるようになる。その余力が新しい利用で埋まれば、総需要は維持され、増える可能性もある。壹蘋新聞網によると、Cherian氏はKVキャッシュを6分の1にしても、Googleの目指す規模にはメモリが足りないと語った。少ないメモリで動かせるようになることと、会社全体で買うメモリが減ることは別の話だ。

8t／8iの導入効果を見極めるには、同じモデルと応答品質を保った実運用で、KV以外も含む総メモリ使用量と処理単価を比べる必要がある。空いた容量を使っても応答の遅延を増やさず、処理できる要求数が増えるなら、圧縮の成果を、同じ設備でより多くのAIサービスを提供する能力に変えられる。