Term

スケーリング則

別名: Scaling Laws

Overview

大規模言語モデル(LLM)などのAI開発において、モデルのパラメータ数、訓練データ量、および計算資源(コンピューティングパワー)の3つの要素を拡大させることで、モデルの性能(テスト誤差)がべき乗則に従って改善するという経験則。2020年にOpenAIの研究者らによって定式化され、現在の巨大なAIモデル開発の理論的根拠となっている。

Mentioned Articles

3 件