テクノロジー
AMD製GPUで学習させた推論特化型軽量モデル「ZAYA1-8B」がリリース：NVIDIA一強体制への挑戦とAMDハードウェアの実用性
米Zyphraは、AMD Instinct MI300のみでフルスタック学習させた80億パラメータの推論モデル「ZAYA1-8B」を公開した。独自のアーキテクチャと推論時計算手法「Markovian RSA」により、大手モデルに匹敵する数理・コーディング性能を達成し、Apache 2.0ライセンスで商用利用を促進する。
Term
Router Replay
Overview
Router Replayは、Mixture-of-Experts（MoE）モデルにおいて、学習時と推論時の計算パスの不一致を解消する技術です。テキスト生成中に選択されたエキスパートの軌跡を記録し、学習時にその選択を強制的に再現させることで、浮動小数点演算のノイズによる不安定性を排除し、モデルの収束性と性能を向上させます。
Mentioned Articles
2 件
External Mentions
5 件- arXiv FAME: Forecastability-Aware Mixture of Experts for Heterogeneous Time Series Forecasting
- arXiv Schedule-Level Shared-Prefix Reuse for LLM RL Training
- arXiv PR2: Predictive Routing Replay for MoE-Based LLM Reinforcement Learning
- arXiv Hera: Learning Long-Horizon Coordination for Device-Cloud Collaborative LLM Agents
- arXiv CMKL: Modality-Aware Continual Learning for Evolving Biomedical Knowledge Graphs