テクノロジー
Google、第8世代TPU「8t / 8i」を発表:「エージェントAI時代」に向けた学習・推論アーキテクチャの分離戦略
Googleは、AIエージェントの台頭によるインフラ要求の変化に対応するため、第8世代TPUで学習特化の「TPU 8t」と推論特化の「TPU 8i」という2つの独立したチップを導入した。これにより、フロンティアモデルの学習時間短縮と低遅延推論を実現し、用途特化によるパフォーマンスと電力効率の最大化を追求している。
推論特有の通信パターン、特にMixture of Experts(MoE)モデルにおけるall-to-all通信を最適化するために設計されたネットワークトポロジー。ネットワーク直径を短縮し、通信オーバーヘッドを大幅に削減する。