テクノロジー
Google、第8世代TPU「8t / 8i」を発表:「エージェントAI時代」に向けた学習・推論アーキテクチャの分離戦略
Googleは、AIエージェントの台頭によるインフラ要求の変化に対応するため、第8世代TPUで学習特化の「TPU 8t」と推論特化の「TPU 8i」という2つの独立したチップを導入した。これにより、フロンティアモデルの学習時間短縮と低遅延推論を実現し、用途特化によるパフォーマンスと電力効率の最大化を追求している。
別名: CAE
自己回帰的デコーディングやChain-of-Thought(思考の連鎖)の実行時に必要となる、データの同期や削減処理をハードウェアレベルで担う専用エンジン。オンチップ遅延の削減に大きく寄与する。