AlibabaのQwenチームは2026年8月26日、次世代のQwen4で使う予定の設計を「Qwen3.8-Flash-Next」として先行公開した。名称の「3.8」は世代を表し、80億パラメータ級の小型モデルという意味ではない。本体は1250億パラメータのMixture-of-Experts（MoE）で、さらに510億パラメータのN-gram埋め込み表を備える。それでも1トークンの処理で活性化するのは60億パラメータだ。Qwenチームが狙ったのは、モデルを一律に小さくすることではなく、計算する場所、記憶を置く場所、長い履歴を探す方法を分けることである。
9分の1は、活性量と訓練トークンの積
技術報告が比較対象に置いたQwen3.7-Plus-Baseは、3970億パラメータのうち各トークンで170億を活性化する。Qwen3.8-Flash-Next-Baseは活性量を60億へ減らし、訓練に使うトークン数も約3分の1にした。活性パラメータ約3分の1と訓練トークン約3分の1を掛け合わせ、訓練FLOPsは約9分の1になったという。
同じ条件でアーキテクチャだけを差し替えた比較ではない点には注意が要る。それでも、14件の事前学習ベンチマークではQwen3.7-Plus-Baseを8件で上回り、残る6件の差も最大2.6ポイントに収めた。計算量の削減幅に対して能力の低下を抑えたことが、今回の結果の読みどころだ。
9分の1というFLOPs比較を直接構成するのは、MoEが絞った活性量と訓練トークン数である。そのうえでQwenチームは、長文推論の計算、メモリアクセス、訓練の安定性を改善する三つの費用にも手を入れた。
| 変更 | 減らす費用、または増やす能力 |
|---|---|
| GDNとQSAのハイブリッド | 長い履歴を圧縮し、必要な領域だけを検索する |
| Gated Residual | 4本の残差経路から情報を動的に読み書きする |
| N-gram埋め込み | 行列演算をほぼ増やさず、局所パターンの記憶容量を増やす |
| MuonとAdamWの使い分け | パラメータの役割に合わせて訓練を安定させる |
四つの変更は、訓練FLOPs9分の1の内訳ではない。MoEが各トークンの行列演算を絞る一方、QSAとN-gram埋め込みは訓練後の推論計算とメモリアクセスを減らす。GRと最適化手法の見直しは、巨大な訓練を安定して完走させる役割を持つ。
GDNは記憶し、QSAは長い履歴から探し出す
Qwen3.8-Flash-Nextでは、4層のうち3層がGated DeltaNet（GDN）を使う。GDNは過去の情報を固定サイズの状態へ順次圧縮するため、文脈が伸びても全トークン分のKey-Value Cacheを抱え続ける必要がない。ただし、有限サイズの状態へ圧縮すれば、過去の特定箇所をそのまま読み返す能力は弱くなる。そこで残る1層が、全文脈へアクセスできるAttentionを担当する。
前身のQwen3-Nextも、GDNと通常のAttentionを3対1で混ぜていた。今回の差は、そのAttentionをQwen Sparse Attention（QSA）へ置き換えたことにある。QSAは各トークンの重要度を一つずつ計算せず、複数トークンをmicro-blockへまとめる。軽量なindexerがブロック単位で候補を選び、Attentionは関連性が高い領域に計算を集中する。
1Mトークン時のカーネル試験では、密なGrouped Query Attentionに比べてprefillが7.6倍、decodeが4.9倍になった。もっとも、これはAttentionモジュールの数字である。prefillは16Kトークンのchunkとbatch 1、decodeはbatch 4と3段のMulti-Token Predictionという条件で測られた。短い入力や別のGPU、モデル全体の応答時間が同じ倍率で速くなるとは限らない。
QSAは速度のために検索精度を落としたとも言い切れない。技術報告では、RULERの512K〜1M区間が通常Attentionの90.08から93.00へ上がった。8本の情報を探すMRCRも、512Kで30.66から40.53、1Mで20.71から26.44へ改善している。ただし、密なAttentionから直接切り替えると性能が落ち、短期間の共同訓練でモデルを疎な検索へ適応させている。QSAは既存モデルへ後付けする交換部品ではない。
510億パラメータをGPUの外へ置く
総容量の約3割を占めるN-gram埋め込みは、通常のMoE expertとは動きが異なる。通常の埋め込みが現在の1トークンから表を引くのに対し、N-gram版は直前の数トークンを含む局所文脈から参照先を決める。頻出する語句や短いパターンに専用の表現を与える「局所パターン記憶」と考えると分かりやすい。
参照先は前もって計算できるため、510億パラメータの表をGPUメモリへ常駐させず、Host Memoryから非同期に先読みできる。モデルは第2層付近でこの表を一度だけ使う。巨大な行列を毎回掛けるのではなく、必要な行を取り出すので、1トークン当たりのFLOPsをほとんど増やさずに容量を足せる。
一方で、パラメータ数の増加と能力向上は比例しなかった。N-gram語彙を基準の20倍から200倍へ増やす実験では、訓練lossは単調に下がったものの、下流ベンチマークは途中で飽和した。また、GPU外へ置く設計にも十分なRAM、PCIeやNVLinkの帯域、先読みを隠せる推論実装が要る。1760億相当の重みを一般的な単一GPUで容易に運用できるという話ではない。
4本の残差経路とMuonが訓練の限界を押し上げる
深いニューラルネットでは、各層が同じ残差ストリームへ情報を足し続ける。層が増えるほど初期の特徴が後段の情報に混ざり、極端に大きな活性値が訓練を乱すこともある。QwenチームのGated Residual（GR）は残差ストリームを4本へ広げ、現在の内容に応じた要素単位のgateで読み出す。書き戻し量も分岐ごとに制御し、残差状態はFP8で保持できる。
最適化にはMuonを採用した。ただし、全パラメータをMuonで更新するのではない。Attention、GDN、MoE expertのように2次元の線形写像として働く重みへMuonを使い、埋め込み、MoE router、GRの低ランク成分にはAdamWを残す。QKVやSwiGLUのように実装上まとめられた行列も、意味の異なる部分へ分けてから直交化する。
アーキテクチャとoptimizerが変われば、適切な学習率とbatch sizeも変わる。Qwenチームはscaling lawを当て直し、従来より大きな値を選んだ。小さなbatchから徐々に増やすwarmupは最終性能を改善せず、同じトークン予算に18.8%多いoptimizer stepを要したため外している。4倍の学習率を与えたstress testでも新構成は安定し、実際の大規模訓練ではloss spikeが起きなかったと報告した。推論費に加え、巨大な訓練を止めないための設計もコスト削減に含まれている。
公開重みと1M対応APIは同じ製品ではない
公開されたQwen3.8-Flash-Nextは262,144トークンを標準で扱い、YaRNを使えば1Mトークンへ拡張できる。公式のSGLangやvLLMの自己ホスト例も、tensor parallelを使う分散構成を前提にする。Hugging Face上のライセンスはQwen Community License 1.0であり、Apache 2.0ではない。重みをダウンロードできることと、既存のオープンソース用ライセンスで配布されることは分けて考える必要がある。
QwenCloudで提供する「Qwen3.8-Flash」は、1Mコンテキストと組み込みツールを標準化した実運用版だ。現行ページは最大入力991K、最大出力131K、最大reasoning 262Kを掲げる。入力100万トークン当たりの料金は、発表ブログでは0.16ドルだが、8月27日時点の製品ページでは0.15ドルと表示されている。出力はどちらも0.47ドルである。入力価格が異なる理由は公表されていない。
公開ベンチマークにも比較上の境界がある。CoWorkBenchやRecreationBenchはQwen側の独自評価で、競合モデルには空欄や公式公表値が混じる。Claude Opusなどと完全に同じharnessで測った横並びの順位表ではない。自己ホスト版とAPI版を選ぶ際は、ベンチマークの首位数より、対象ハードウェアでのend-to-end throughput、Host Memoryの占有量、長文時の精度を測る方が確実だ。
Qwen4がこの設計を引き継ぐなら、モデル競争を見る物差しは総パラメータ数からさらに離れる。60億という活性量、QSAが選ぶ文脈量、GPU外の510億表を隠せる帯域。この三つが実運用でも噛み合うかどうかで、今回の「9分の1」が製品コストへ届く範囲が決まる。