Term

Mixture of Experts

Mixture of Expertsとは、入力ごとに一部の専門家ネットワークだけを動的に選択・実行するニューラルネットワーク構造である。大規模言語モデルの総パラメータ数を増やしつつ推論コストを抑える手法として、DeepSeek-V4やKimi K3など最新のLLMで採用されている。

全 30 件 / 3 ページ

AD