Term

蒸留

別名: モデル蒸留, 知識蒸留, knowledge distillation, Knowledge Distillation, 蒸留

Overview

モデル蒸留(知識蒸留)は、大規模な教師モデルが持つ知識を、より小型の生徒モデルに転移させる機械学習の手法です。単に教師モデルの出力を模倣させるだけでなく、教師モデルが問題を解く際の思考過程(例えば、中間層の活性化パターンやソフトラベル)を学習データとして利用することで、生徒モデルは元のサイズからは想像できないほど高い精度と性能を発揮できます。これにより、リソース制約のあるデバイス上でのAIモデルの展開が可能になります。

Mentioned Articles

20 件