テクノロジー
MetaのAI「CWM」はコードの未来を変えるか？「実行」を理解する世界モデルの衝撃
Metaが、AIによるコード生成の常識を大きく変える可能性を持った新しい研究モデル「Code World Model（CWM）」を発表した。これは単に既存のコードを学習し、次に来るテキストを予測する従来のモデルとは一線を […]
Term
Sliding Window Attention
別名: SWA
Overview
最終更新: 2026年7月9日Sliding Window Attention（SWA）は、アテンション機構の計算量を削減するための技術です。すべてのトークン間でアテンションを計算するのではなく、各トークンがその周囲の一定範囲（ウィンドウ）内のトークンにのみ注目するように制限します。これにより、計算コストをシーケンス長に対して線形に抑えることができ、CWMのような10万トークンを超える非常に長いコンテキストの処理を可能にします。
Mentioned Articles
1 件External Mentions
10 件- arXivATMA: Length-Invariant Language Modeling via Polar Attention and Gated-Delta Compression Memory
- arXivKamera: Unified Position-Invariant Multimodal KV Cache for Training-Free Reuse
- arXivUnlimited OCR Works
- arXivConSA: Controllable Sparsity in Hybrid Attention via Learnable Allocation
- arXivLoopCoder-v2: Only Loop Once for Efficient Test-Time Computation Scaling
- arXivKairos: A Native World Model Stack for Physical AI
- arXivGOOSE-M2F: Adapting Mask2Former for High-Fidelity, Long-Tailed Fine-Grained Semantic Segmentation in Unstructured Outdoor Terrain
- arXivRethinking the Role of Efficient Attention in Hybrid Architectures
- arXivArchitecture-Aware Reinforcement Learning Makes Sliding-Window Attention Competitive in Math Reasoning
- arXivTRADE: Transducer-Augmented Decoder for Speech LLM