レイヤーワイズスケーリング

レイヤーワイズスケーリングは、Transformerアーキテクチャにおいて、すべてのレイヤーに均一なパラメータを割り当てるのではなく、レイヤーごとに構成やパラメータ数を調整する手法です。これにより、モデル全体のパラメータ予算をより効果的に配分し、計算リソースを抑えつつ予測精度を向上させることが可能になります。OpenELMの核心的な技術として採用されています。