Googleは2026年11月9日、独自開発するAIアクセラレーターの第8世代TPUに、新たに「TPU 8tx」と「TPU 8i Max」を追加すると発表した。4月に発表した「TPU 8t」と「TPU 8i」をベースとしており、8txは処理中の機密データを保護する機能を備え、8i Maxは2基の8iチップを1つのパッケージに収めることで演算能力やメモリ関連の資源を拡充した。生成AIが長い会話履歴を保持し、外部ツールを使って複雑な作業を進めるようになるにつれ、演算性能だけでなく、メモリ容量や帯域、チップ間通信、データの安全性がシステム全体の性能を左右するようになっている。Googleは新しい演算チップを開発するのではなく、既存の設計を用途別に最適化することで、こうした課題に対応しようとしている。ただし、今回発表された「2倍」といった性能倍率は、必ずしも実際のAIアプリケーションが同じ割合で高速化することを意味しない。

AD

第8世代TPUは4製品に拡大、違いはシステム構成にある

今回追加されたTPU 8txとTPU 8i Maxは、いずれも既存の第8世代チップを活用した製品だ。8txには8tと同じシリコンが使われているが、ホストCPUをGoogle独自のAxionから第5世代AMD EPYCへ変更し、TPU間の接続方式にはBoardflyを採用した。一方、8i Maxは既存の8iチップを2基、単一パッケージに収めた構成となっている。つまり、演算チップのアーキテクチャそのものを刷新したのではなく、チップの組み合わせや周辺システムを変更することで、それぞれ異なる用途に対応している。

従来の8tと8iも、設計段階から異なる用途を想定していた。大規模なAIモデルの学習を目的とする8tは、Google製Axion CPUをホストに採用し、TPU間の通信には3D torus接続を使用する。これに対し、推論向けに設計された8iは、Axion CPUとBoardflyを組み合わせた構成だ。Boardflyと3D torusはいずれもTPU間のデータ通信を担うが、接続方式やホストCPUを含むシステム全体の構成は異なる。今回の追加によって、Googleは大規模学習、一般的な推論、機密性の高い推論、長文脈の推論という用途に応じた4つの選択肢をそろえたことになる。

Googleの11月9日の公式発表と、4月に公開された8t・8iの技術解説を基に、各システムの構成と用途を整理すると次のようになる。

システム 基礎となるチップ 主な構成・特徴 想定用途 性能比較上の注意点
TPU 8t 8t Axion CPU、3D torus接続 大規模AIモデルの学習 8txと同じシリコンを使用するが、システム構成は異なる
TPU 8i 8i Axion CPU、Boardfly接続 AI推論 8i Maxの資源倍率を比較する基準
TPU 8tx 8tと同じシリコン 第5世代AMD EPYC、Boardfly接続、処理中のデータとモデルの重みを保護 機密推論、小規模な学習 8t比で遅延を最大50%短縮するというGoogleの主張。詳しい測定条件は未公表
TPU 8i Max 8iを2基 単一パッケージ化し、演算能力・SRAM容量・HBM帯域を8i比でそれぞれ2倍に拡充 長文脈を扱うAI推論 2倍はハードウェア資源の仕様倍率であり、実際の応答速度ではない

ここで注意したいのは、各製品で公表されている性能倍率の意味が異なることだ。8i Maxの「2倍」は、通常の8iと比較したパッケージ当たりの演算能力やメモリ関連資源の倍率を指す。一方、8txの「遅延を最大50%短縮」は、8tを比較対象としたGoogleの性能主張であり、ハードウェアの資源量を示す数値ではない。いずれも4製品を同じ条件で測定したベンチマーク結果ではなく、8i Maxの絶対的なハードウェア仕様についても、今回の発表本文では明らかにされていない。

TPU 8i Maxの「2倍」はAI推論をどれだけ速くするのか

TPU 8i Maxの最大の特徴は、2基の8iチップを1つのパッケージに収めることで、演算能力、SRAM容量、HBM帯域をそれぞれ通常の8iの2倍にした点だ。SRAMは演算器の近くに配置される高速なメモリであり、HBMはAIモデルの重みや計算途中のデータを高速に供給するために使われる。Googleが4月に公開した8iの技術資料では、SRAM容量は384MB、HBM帯域は8,601GB/秒と説明されていた。8i Maxでは、パッケージ内のチップ数を増やしながら、ラックの占有面積を従来と同じに保つとしている。

ただし、ここでいうHBM帯域の2倍と、HBM容量の2倍は別の意味を持つ。メモリ帯域は単位時間当たりに転送できるデータ量であり、メモリ容量は保持できるデータの総量を表す。Googleが今回2倍になったと説明しているのはHBM帯域であり、HBM容量やAIモデルが扱える文脈長が2倍になったという発表ではない。また、演算能力とHBM帯域がどちらも2倍になった場合、単純に計算した演算能力当たりのメモリ帯域は変わらない。これは公表された仕様倍率から導かれる関係であって、メモリから演算器へのデータ供給が性能を制限する、いわゆる「メモリの壁」が解消されたことを示す実測結果ではない。

長文脈を扱う生成AIでは、モデルの重みに加えて、過去に入力・生成されたトークンの計算結果を保持する「KVキャッシュ」が重要になる。KVキャッシュを再利用すれば、過去のトークンに関する計算を繰り返す必要がなくなり、後続のトークン生成を効率化できる。一方、会話履歴や入力文が長くなるほど、保持するKVキャッシュの量が増え、メモリ容量や帯域への要求も高まる。したがって、演算器を増やすだけでは十分ではなく、必要なデータをどれだけ効率よく供給し、計算済みの状態をどこに保持するかが性能を左右する。

Googleが8i Maxで目指すのは、長文脈推論に必要な計算資源と高速メモリへのアクセス能力を、パッケージ単位で拡充することだ。しかし、ハードウェア資源が2倍になったからといって、AIアプリケーションの応答速度が一律に2倍になるわけではない。実際の高速化率は、モデルの規模、入力文の長さ、同時に処理するリクエスト数、メモリ利用効率などによって変わる。今回の発表では、8i Maxを使ったアプリケーションの処理速度やラック全体の消費電力は示されていない。同じラック占有面積で利用できても、電力供給や冷却設備まで含めた導入効率が改善するかどうかは、別途検証する必要がある。

AD

TPU 8txは機密情報を扱う企業向けAIを想定

TPU 8txは、機密性の高いデータを扱うAI推論を主な用途として開発された。最大の特徴は、推論中のデータとAIモデルの重みをハードウェアによって保護・隔離する「機密コンピューティング」に対応することだ。一般に、機密情報の取り扱いでは、保存時や通信時の保護だけでなく、実際にデータを処理している間の安全性も課題となる。8txはこの処理中の保護に対応することで、企業が機密性の高い情報をAIに利用させる際の選択肢を広げようとしている。

この機能を実現するため、Googleは既存の8tと同じ演算チップに、第5世代AMD EPYC CPUとBoardfly接続を組み合わせた。主な用途は機密推論だが、小規模なAIモデルの学習にも対応する。具体的には、追加学習や蒸留、強化学習といった、モデルを特定の用途に適応させる処理を想定している。大規模学習向けのシリコンを活用しながら、ホストCPUや通信方式、機密保護機能を変更することで、推論と小規模学習を同じシステムで扱える構成にした。

性能面では、Googleは8txの遅延が8tと比較して最大50%短縮されると説明している。ただし、比較に使用したAIモデルや入力文の長さ、並列処理数などの条件は、今回の発表本文には記載されていない。また、機密コンピューティングを有効にしても性能上の負担はほとんど生じないとしているが、これは機密保護機能によるオーバーヘッドについての主張だ。8t比での遅延短縮とは別の評価であり、特定の業務において両方の効果が同時に得られることを保証するものではない。

機密保護の具体的な範囲にも注意が必要だ。今回の発表だけでは、ハードウェアによる隔離の境界や暗号鍵の管理方法、認証の仕組みなど、詳細な実装条件までは確認できない。また、処理中のデータがハードウェアで保護されても、アプリケーションが誰からの要求を許可するか、操作ログにどの情報を記録するかといった運用上の問題が自動的に解決するわけではない。企業が機密情報をAIに扱わせられるかどうかは、ハードウェアの保護機能とアプリケーション側のアクセス制御、ログ管理などを合わせて判断する必要がある。

「メモリの壁」にはソフトウェアでも対応、KVキャッシュ転送を高速化

Googleはハードウェアの拡充と並行して、AI推論におけるメモリの制約を緩和するソフトウェアの開発も進めている。その一つが、KVキャッシュやAIモデルの重みを異なるメモリ階層の間で転送するC++ライブラリ「TPU Sync」だ。Googleの技術解説によると、TPU SyncはHBMだけでなく、ホスト側のDRAMや共有ストレージも組み合わせ、必要なデータを適切な場所へ移動させる仕組みを備えている。転送には非同期DMAを使用し、ネットワークを介したデータ移動にも対応する。ただし、これはメモリを効率よく利用するための技術であり、HBMの物理容量やAIモデル自体が対応する最大文脈長を増やすものではない。

生成AIの推論は、大きく分けて「Prefill」と「Decode」という2つの工程で構成される。Prefillは入力されたプロンプトをまとめて処理する段階であり、Decodeではその計算結果を使いながら、応答のトークンを順番に生成する。両工程は計算資源に求められる特性が異なるため、それぞれを別のアクセラレーターへ割り当てる構成も採用されている。しかし、この方式ではPrefillで生成したKVキャッシュをDecode側へ転送する必要があり、転送時間が長いと、計算資源を分離した効果が損なわれてしまう。特に、利用者に最初のトークンを返すまでの時間であるTTFT（Time to First Token）に影響する。

Googleが公開した内部試験では、TPU SyncによってQwen3 235BのKVキャッシュ転送時間の中央値が、数秒から約230ミリ秒まで短縮された。また、同モデルを低並列の条件で実行した場合、平均TTFTが60%短縮されたという。これはKVキャッシュの受け渡しを高速化することで、応答開始までの待ち時間を減らせることを示す結果だ。ただし、試験に使われたのは旧世代のTPU v7xであり、今回発表されたTPU 8i Maxの性能を測定したものではない。

Googleはさらに、共通するプロンプトの接頭辞に対応する計算結果を再利用する試験も実施している。64Kトークンの文脈を使った条件では、平均TTFTが最大90%短縮され、スループットも50%超向上したと報告した。これは過去に計算した共通部分の状態を再利用できる場合の結果であり、あらゆる会話やリクエストで同じ改善が得られるわけではない。また、先ほどのKVキャッシュ転送試験とも条件が異なるため、両者の改善率を直接比較したり、組み合わせて性能向上を見積もったりすることはできない。

これらの試験が実施されたのは2026年7月で、使用したハードウェアはTPU v7xの2×2×1構成だった。接続条件はチップ当たりPCIe Gen5 x16、ホスト当たり200GbpsのNICを1基または2基とし、ソフトウェアにはtpu-inference v0.24.0、JAX 0.10.2、libtpu 0.0.42.1を使用している。したがって、報告された高速化率を評価する際には、ハードウェア世代やネットワーク構成、並列処理数などの測定条件を考慮する必要がある。なお、TPU Syncのストレージ関連機能の一部や強化学習向けモジュールは、現時点では実験段階にある。

Googleは、AIエージェント特有の処理にもソフトウェア面から対応している。AIエージェントは推論だけでなく、外部ツールへの要求やその応答を待つ時間が発生するため、計算資源を常に稼働させ続けることが効率的とは限らない。11月9日の発表で紹介された「Agent Compute Engine」は、こうした待機中のセッションを停止し、必要になったときに再開する機能を備えている。同時に発表されたソフトウェアの提供状況については、TPU agent suiteがプレビュー段階、Cloud PathwaysとGKE dynamic slicingが一般提供となっている。ただし、これらはソフトウェア側の提供状況であり、TPU 8txや8i Maxがすべての地域で一般提供されることを意味するものではない。

Googleが取り組んでいるのは、単に高性能なTPUを開発することだけではない。チップを増やして演算能力やメモリ帯域を拡張すると同時に、計算済みの状態を効率よく転送・再利用し、外部ツールを待つ間の計算資源を有効活用する仕組みを整えている。ハードウェアとソフトウェアの両面から、AI推論システム全体の効率を改善しようとしている点が重要だ。

AD

NVIDIAとの競争は性能だけでなく、ソフトウェアの移行しやすさが焦点に

Googleによると、TPUを利用する企業は100社近くに達しており、顧客自身のデータセンターへの展開にも取り組んでいる。利用企業が増えるほど重要になるのが、既存のAI開発環境からTPUへ移行する際の負担だ。どれほど高性能なハードウェアでも、既存のAIモデルや開発ツールを大幅に書き換える必要があれば、導入の障壁となる。そこでGoogleが進めているのが、PyTorchとの互換性を高める取り組みである。

Googleは10月21日、PyTorchチームと共同開発した「TorchTPU」をオープンソースとして公開した。既存のPyTorchワークロードを最小限のコード変更でTPU上に移行できるようにすることが目的だ。開発者は使い慣れたEager Modeでプログラムの動作を確認し、torch.compileを使って最適化するという開発手順を維持できる。ただし、標準的なPyTorch APIが動作することと、GPU向けに独自実装された処理を含むアプリケーションが、そのまま十分な性能で動作することは別問題だ。コードの移植に加え、実際のワークロードで性能を検証し、必要に応じて最適化する作業は残る。

性能比較についても、Googleが公表する数字を正しく理解する必要がある。同社は4月の第8世代TPU発表時、前世代のIronwoodと比較した価格性能比が、8tでは最大2.7倍、8iでは最大80%改善したと説明していた。しかし、これらはいずれもGoogle自身の前世代製品との比較であり、NVIDIAのGPUを同じ条件で測定した結果ではない。また、今回発表された8txや8i Maxについて、NVIDIA製品に対する性能上の優位性を示す共通条件のベンチマークも公表されていない。したがって、これらの数値だけを根拠に、TPUがNVIDIA製GPUより高性能あるいは高効率だと結論付けることはできない。

今回の発表で注目すべきなのは、Googleが演算性能の向上だけでなく、AIシステムを導入する際の制約を幅広く解消しようとしている点だ。8txでは機密データの保護、8i Maxでは長文脈推論に必要なハードウェア資源の拡充に取り組み、TPU SyncやTorchTPUによってメモリ運用とソフトウェア移行の負担も軽減しようとしている。これは、ピーク演算性能だけで競争するのではなく、企業が既存のAIシステムを移行・運用しやすい環境を整えることで、TPUの採用を広げようとする戦略と考えられる。

ただし、その優位性を判断するには、実際の業務に近い条件での比較が欠かせない。同じAIモデルと文脈長、並列処理数、出力品質、目標応答時間をそろえたうえで、どれだけの処理能力が得られるかを検証する必要がある。さらに、ハードウェアの利用料金だけでなく、既存システムからの移行作業、運用管理、電力供給や冷却設備まで含めた総コストも重要だ。今回の発表では、新製品の価格や提供地域、明確な一般提供時期は確認できず、具体的な導入条件については今後の情報公開を待つ必要がある。

第8世代TPUを4製品へ拡充したGoogleの取り組みは、AIアクセラレーターの競争が、チップ単体の演算性能からシステム全体の効率や導入のしやすさへ広がっていることを示している。最終的に企業の採用判断を左右するのは、同じ出力品質と応答時間を満たすAIサービスを、移行や運用も含めてどれだけ低いコストで提供できるかだ。新たな2製品がその点でどの程度の優位性を持つのかは、詳細な仕様と実測データ、提供条件が明らかになることで評価できるようになる。