テクノロジー
iPhoneのメモリ限界を突破する魔法。Apple新AI「AFM 3」の恐るべきアーキテクチャ
Appleは、必要な知識のみをDRAMに展開する新技術により、スマートフォンのメモリ制約を克服し巨大なAIを動かす手法を発表した。この動的プルーニング技術は、推論時の遅延を抑えつつ、限られたリソースで高性能な知能を実現する画期的な成果である。
Term
MoE
別名: Mixture-of-Experts, MoE, Mixture of Experts, 専門家混合, MoE++アーキテクチャ
Overview
MoE（Mixture-of-Experts）は、巨大なニューラルネットワークを複数の専門家（エキスパート）ネットワークに分割し、入力に応じて適切なエキスパートのみを動的に選択・活性化させるアーキテクチャです。これにより、総パラメータ数を巨大化させつつ、推論時の計算コストやメモリ使用量を低く抑えることが可能になります。
Mentioned Articles
1 件External Mentions
10 件- arXiv Revised orbital parameters of the gamma2 Velorum system
- Hacker News Liquid AI reveals 8B-A1B MoE trained on 38T
- arXiv Multi-valued Morse homotopy for the SYZ mirror of the complex projective plane
- arXiv Combating Organized Platform Abuse: Amplifying Weak Risk Signals with Structural Information
- Hacker News Granite 4.1: IBM's 8B Model Matching 32B MoE
- arXiv Probing the 3D Structures of Supernovae through IR Signatures of CO and SiO
- arXiv Extremal Mostar Index of Graphs with Given Number of Cut Edges
- Hacker News Flash-MoE: Running a 397B Parameter Model on a Laptop
- Hacker News Tongyi DeepResearch – open-source 30B MoE Model that rivals OpenAI DeepResearch
- Hacker News Kimi K2 is a state-of-the-art mixture-of-experts (MoE) language model