Term

Mixture of Experts

Mixture of Expertsとは、モデル内に複数用意した専門家ネットワークのうち一部だけを入力ごとに動的に選択・実行する手法である。総パラメータ数を増やしつつ推論時の計算量を抑えられるため、大規模言語モデルの学習・運用コスト最適化に広く用いられている。

全 17 件 / 2 ページ

AD