Term
MoE
別名: Mixture-of-Experts, MoE, Mixture of Experts, 専門家混合, MoE++アーキテクチャ
Overview
MoE（Mixture-of-Experts）は、巨大なニューラルネットワークを複数の専門家（エキスパート）ネットワークに分割し、入力に応じて適切なエキスパートのみを動的に選択・活性化させるアーキテクチャです。これにより、総パラメータ数を巨大化させつつ、推論時の計算コストやメモリ使用量を低く抑えることが可能になります。
Mentioned Articles
0 件関連する記事はまだありません。
External Mentions
10 件- Hacker News Liquid AI reveals 8B-A1B MoE trained on 38T
- Hacker News Granite 4.1: IBM's 8B Model Matching 32B MoE
- Hacker News Flash-MoE: Running a 397B Parameter Model on a Laptop
- Hacker News Tongyi DeepResearch – open-source 30B MoE Model that rivals OpenAI DeepResearch
- Hacker News Kimi K2 is a state-of-the-art mixture-of-experts (MoE) language model
- Hacker News Kimi K2 is a state-of-the-art mixture-of-experts (MoE) language model
- Hacker News DeepSeek open source DeepEP – library for MoE training and Inference
- Hacker News Snowflake Arctic Instruct (128x3B MoE), largest open source model
- Hacker News Mistral AI Launches New 8x22B MOE Model
- Hacker News Non-determinism in GPT-4 is caused by Sparse MoE