Mixture of Experts

Mixture of Experts（MoE）とは、ニューラルネットワーク内に複数の「専門家」サブネットワークを用意し、入力ごとにルーティング機構が一部の専門家だけを選択して計算させる機械学習アーキテクチャである。単一の巨大な密結合モデルに比べ、総パラメータ数を増やしながら推論時に実際に動作する計算量（アクティブパラメータ数）を抑えられる点が特徴だ。Wikidataでは統計モデル・混合分布モデルの一種として分類されており、大規模言語モデルの学習・運用コスト最適化に広く採用されている。

概要

MoEの基本構造は、入力トークンごとにゲーティングネットワークが数個から十数個の専門家ネットワークのうち上位k個を選び出し、それらの出力を重み付けして統合するというものだ。この仕組みにより、モデル全体のパラメータ数（総容量）を数千億から数兆規模まで拡大しつつ、1トークンあたりに実際に呼び出される専門家の計算量は一部にとどめられる。結果として、密結合モデルと同程度の推論コストでより高い表現力を獲得できる、あるいは同等の性能をより低い計算コストで達成できるという2つの方向性で活用されている。

技術的位置づけ

MoEは大規模言語モデルのスケーリングにおける主要な設計選択肢の一つとなっている。GPUやTPUなどのアクセラレータ上では、専門家ごとに異なる演算が動的に発生するため、ルーティングの不均衡やメモリ帯域の制約が性能のボトルネックになりやすい。このため、疎な計算パターンをハードウェアレベルでいかに効率的に処理するかが、MoE採用モデルの実用的な性能を左右する技術課題として注目されている。

主要な動向

2026年5月には、DeepSeek-AIがMoEアーキテクチャを採用したDeepSeek-V4シリーズのプレビューを公開した。DeepSeek-V4-Proは総パラメータ1.6兆、軽量版のDeepSeek-V4-Flashは2840億のMoEモデルであり、100万トークンの長文脈処理とコスト効率の両立を狙う設計となっている。

2026年7月には、MoonshotのKimi K3をめぐる動きが相次いだ。MicrosoftはAzureでのKimi K3提供とCopilotへの採用を検討していると報じられ、推論コストを最大6億ドル削減できるかは、品質を保ったまま処理をどのモデルや専門家に振り分けられるかに左右されるとされた。一方Moonshot自身は、Kimi K3への需要急増を受けて新規契約を一時停止し、GPU容量の配分見直しを迫られた。

2026年8月には、MoEをはじめとする疎な推論モデルにおいて、今どのタスクを実行しているかという情報をもとに不要な演算タイルをFPGA上で物理的にスキップするハードウェア・ソフトウェア協調設計がMICRO 2026に採択された。この手法はFLOPsを最大76%削減しレイテンシを2.4倍短縮する一方、同じマスクをGPU上で適用すると22%の遅延増加を招くことが示され、MoEのような疎性を活かすにはハードウェア側の対応が不可欠であることを浮き彫りにした。