Mamba

Transformerの代替を目指して提案された、選択的状態空間モデル（Selective State-Space Models）に基づくアーキテクチャ。コンテキスト長に対して計算量が線形にスケーリングするため、非常に長いシーケンスを効率的に処理できるが、情報の圧縮に伴う検索精度の低下が課題とされる。