Term

学習率

別名: Learning Rate

Overview

ニューラルネットワークの学習において、最適化アルゴリズムが損失関数の最小値を探す際に、一度の更新でどれだけパラメータを動かすかを決定する数値。学習率が大きすぎると収束せず、小さすぎると学習に時間がかかる。Fun-Tuningでは、この学習率を極めて小さく設定することで、通常は隠蔽されているモデルの内部信号を近似的に抽出する手法が用いられた。

Mentioned Articles

1 件