テクノロジー
次のDeepSeekか？中国発オープンソース「Kimi K2」が登場：圧倒的低価格でGPT-4.1やClaude 4 Opusを凌駕する“エージェントモデル”
中国のAIスタートアップ、Moonshot AIが発表したオープンソースモデル「Kimi K2」がAI業界に波紋を広げそうだ。これは単なる高性能な大規模言語モデル（LLM）の登場ではなく、AI開発の根底に横たわる「経済学 […]
Term
AdamW
Overview
AdamWは、勾配降下法に基づく最適化アルゴリズムの一種で、広く普及しているAdamに「重み減衰（Weight Decay）」を適切に組み込んだものです。大規模言語モデルを含む深層学習モデルの訓練において、過学習を抑制しつつ効率的に収束させるための標準的な手法として長年採用されてきました。Kimi K2の解説では、これに代わるより効率的な手法としてMuonClipが対比されています。
Mentioned Articles
1 件External Mentions
10 件- arXiv Dense Supervision, Sparse Updates: On the Sparsity and Geometry of On-Policy Distillation
- arXiv LoRA-Muon: Spectral Steepest Descent on the Low-Rank Manifold
- arXiv Preserving Plasticity in Continual Learning via Dynamical Isometry
- arXiv The Spectral Dynamics and Noise Geometry of Muon
- arXiv PC Layer: Polynomial Weight Preconditioning for Improving LLM Pre-Training
- Hacker News Building a Networked Key-Value-Store on an FPGA
- Hacker News Tailwind CSS: From Side-Project Byproduct to Multi-Million Dollar Business
- Hacker News Tailwind UI has made over $500k in sales in its first three days
- Hacker News CSS Utility Classes and “Separation of Concerns” (2017)
- Hacker News AdamW and Super-convergence is now the fastest way to train neural nets