Term

MiniMax Sparse Attention

別名: MSA

Overview

最終更新: 2026年7月9日

MiniMax Sparse Attention (MSA)は、大規模言語モデルにおける計算量の増大問題を解決するためにMiniMaxが開発した革新的なアーキテクチャです。従来のTransformerが抱える、コンテキスト長に対して計算量が二次関数的に増加する欠点を、関連するデータブロックのみを選択的に処理する「疎(スパース)」なメカニズムによって克服しました。これにより、100万トークン規模の入力を、従来の数十分の一のコストと高速な処理スピードで実現可能にしています。

Mentioned Articles

1 件

External Mentions

6 件