テクノロジー
ジャック・ドーシー率いるBlockが断行した「AIによる40%人員削減」：肥大化のツケか、インテリジェンス・ネイティブ企業への脱皮か
ビジネス史において、大量の解雇は通常、経営不振や市場環境の悪化というネガティブな文脈で語られる。しかし、決済サービスSquareやCash Appを展開する米Block（旧Square）が発表した約4,000人もの人員削 […]
Term
Subquadratic Sparse Attention
別名: SSA
Overview
最終更新: 2026年7月9日Subquadratic社が開発した独自の注意機構。従来のDense Attentionが全トークンを総当たりで計算するのに対し、SSAは動的に重要な関連性のみを選択して計算する。この選択プロセス自体が二次関数的な計算を伴わないため、コンテキスト長が増大しても計算コストが線形にしか増加しないという特徴を持つ。
Mentioned Articles
1 件External Mentions
6 件- arXivStructured-Sparse Attention for Entity Tracking with Subquadratic Sequence Complexity
- arXivLT2: Linear-Time Looped Transformers
- arXivGeneralization Bounds of Spiking Neural Networks via Rademacher Complexity
- arXivNeuronal Attention Circuit (NAC) for Representation Learning
- arXivLoLA: Low-Rank Linear Attention With Sparse Caching
- arXivLoLA: Low-Rank Linear Attention With Sparse Caching