テクノロジー
Anthropic、天井知らずの推論コスト削減のためDRAMレスAI推論チップ開発のFractileと交渉を開始
大規模言語モデルの推論コストが利益を圧迫する中、AnthropicはAI推論チップの自前調達を急いでおり、未製造の英国スタートアップFractileと交渉を進めている。Fractileは、プロセッサとメモリ間のボトルネックを解消するMemory Compute Fusionアーキテクチャを提案し、既存GPU比で25倍速くコスト10分の1の推論を目指している。
Term
Memory Compute Fusion Architecture
別名: メモリ計算融合アーキテクチャ
Overview
プロセッサとメモリの間のデータ転送速度が全体の性能を制限する「メモリウォール」問題を解決するための設計手法。低速な外部DRAMに依存せず、高速なSRAMを演算回路のすぐ近くに配置（オンダイ統合）することで、超高速な帯域幅と低レイテンシーを実現する。
Mentioned Articles
1 件External Mentions
8 件- arXiv Deep Temporal Modeling and Ensemble Fusion for Multimodal Emotion Recognition from Physiological Signals
- arXiv Eidola: Modeling Multi-GPU Network Communication Traffic in Distributed AI Workloads
- arXiv Operator Fusion for LLM Inference on the Tensix Architecture
- arXiv EEG-FuseFormer: A Transformer-Driven Feature Fusion Framework for Seizure Onset Prediction
- arXiv Bandwidth-Aware LLM Inference on Heterogeneous Many-Core Supercomputers
- arXiv ReMATF: Recurrent Motion-Adaptive Multi-scale Turbulence Mitigation for Dynamic Scenes
- arXiv Replacement Learning: Training Neural Networks with Fewer Parameters
- arXiv Patch-MoE Mamba: A Patch-Ordered Mixture-of-Experts State Space Architecture for Medical Image Segmentation