Baiduは2026年11月5日、テキスト専用AIモデル「ERNIE 5.5 Flash Base」の重みを公開した。総パラメータ数は2800億に達するが、各トークンの処理で実際に使用する活性パラメータは140億に抑えられている。最大1,048,576トークンの長い文脈にも対応する。ただし、公開されたのは事前学習を終えた段階のBaseモデルであり、指示への追従や対話能力を高める事後学習は施されていない。また、推論時に使用するパラメータが少なくても、モデル全体の重みや100万トークン分の履歴を保持するメモリが不要になるわけではない。実際に導入するには、追加学習の必要性に加え、GPUの構成やメモリ容量を慎重に見極める必要がある。
追加学習の出発点として公開されたBaseモデル
今回公開されたERNIE 5.5 Flash Baseは、33.5兆トークンを使ってゼロから事前学習した大規模言語モデルだ。中間学習や事後学習を行う前のチェックポイントであり、特定分野への適応や指示追従の調整、強化学習などを開発者が独自に進めるための基盤として位置づけられている。Baiduの公式発表でも、今回のBaseモデルはさらなる開発の出発点であると説明している。
モデルの重みはFP8とBF16の2種類が、Hugging Faceを通じてsafetensors形式で配布されている。公式の使用例も、入力された文章の続きを生成する「completions」を前提としており、調整済みの対話モデルをそのまま利用する場合とは異なる。THE DECODERも、実用化に向けて開発者側に多くの作業が残されていると指摘している。
Baiduは、事後学習を施した「ERNIE 5.5 Flash」も今後公開する予定だが、具体的な公開日は明らかにしていない。独自のデータや学習手法を使ってモデルを調整したい開発者にとって、事前学習直後の重みを入手できることには意味がある。一方、すぐに利用できる対話AIを求める場合は、今回のBaseモデルと、今後公開される事後学習版を明確に区別する必要がある。
活性140億パラメータと長文処理を支える仕組み
総数2800億のパラメータを持ちながら、各トークンの処理で使用するパラメータを140億に抑えているのは、Mixture of Experts（MoE）と呼ばれるアーキテクチャによるものだ。MoEは複数の専門家ネットワーク（エキスパート）を用意し、入力に応じて必要なものだけを選択する仕組みである。ERNIE 5.5 Flash Baseでは、最初の層を除く各MoE層に512個の選択対象エキスパートを配置し、そのうち10個を選択して、さらに1個の共有エキスパートと組み合わせて処理する。Baiduは、複数のルーターと2048次元の潜在空間を利用することで、エキスパートの選択精度や計算・通信効率を改善したと説明している。
140億を総数2800億で割ると、活性パラメータの割合は5%となる。ただし、公式の集計では、総パラメータ数に入力埋め込みと出力ヘッドを含む一方、活性パラメータ数には出力ヘッドを含め、埋め込みの参照分は含めていない。また、追加のECHOモジュールに相当する3.6億パラメータは、どちらの数値にも含まれていない。したがって、5%という値は各トークンの処理に関与するパラメータの割合を大まかに表すものであり、計算コストや消費電力、利用料金が通常のモデルの5%になるという意味ではない。
最大100万トークンの長い文脈を扱うためには、MoEとは別の工夫も必要になる。大規模言語モデルの推論では、過去のトークンに関する情報を「KVキャッシュ」に保存し、後続のトークンを処理する際に再利用する。一般に文脈が長くなるほど、このKVキャッシュが占めるメモリ容量も増大する。ERNIE 5.5 Flash Baseは、全43層のうち37層に「Heavily Compressed Attention（HCA）」を採用し、過去の128トークンを1つのキャッシュエントリに圧縮することで、長い履歴を効率的に保持する。ただし、直近128トークンについては圧縮せずに参照できるスライディングウィンドウも設けている。
残る6層では、Multi-head Latent Attention（MLA）とDeepSeek Sparse Attention（DSA）を組み合わせた別の方式を使用する。こちらは過去のトークン単位の情報を保持し、その中から重要な位置を選択して参照する仕組みだ。このため、HCA層で128トークンを1つに圧縮していても、モデル全体のKVキャッシュが128分の1になるわけではない。
つまり、MoEとHCAは異なる課題を解決するための技術である。MoEは各トークンの推論に使うパラメータを絞り、HCAは過去の文脈を保持するために必要なメモリを減らす。 この2つを組み合わせることで、大規模モデルの計算効率と長文処理時のメモリ効率を両立させようとしている。
100万トークンを処理するために必要なGPU構成
公開されたHugging Faceのモデルカードによると、ERNIE 5.5 Flash Baseの事前学習時の最大コンテキスト長は131,072トークンで、追加学習や推論では最大1,048,576トークンに対応する。ただし、掲載されているSGLangとvLLMの標準的な起動例では、いずれも131,072トークンが設定されている。一般に「128K」や「1M」と表記されるのはトークン数の概数であり、文字数を意味するわけではない。モデルが100万トークンに対応していることと、手元のGPUでその長さを実際に処理できることは別の問題だ。
Baiduが公開したvLLM-ERNIEプラグインは、NVIDIA GPU上で動作するvLLM 0.32.0向けに開発されている。READMEには、100万トークンを扱うための設定例として、メモリ容量184GiBのGPUを4基使用する並列構成が掲載されている。ただし、この構成でもモデルの重みとKVキャッシュを収めればよいわけではなく、長い入力を最初に処理するプリフィル段階で、さらに数十GBの一時メモリが必要になると説明している。
一方、メモリ容量80GBのGPUを8基使うFP8構成では、最大262,144トークンまでの設定が可能だが、100万トークンは収まらないと明記されている。ただし、これは公式プラグインで示された特定の構成における条件であり、すべての推論実装に共通する絶対的な上限ではない。また、100万トークンの実行に必要なGPUの最小台数を一般的に示すものでもない。
重みを保持するために必要なメモリ容量も、活性パラメータ数の140億だけからは判断できない。公式READMEでは、モデルの重みの容量をFP8で約280GB、BF16で約560GBとしている。BF16の重みを4基のGPUに分散して搭載する場合は、KVキャッシュに使えるメモリが限られるため、最大コンテキスト長を65,536トークンなどに短縮する設定が案内されている。推論時に使用するパラメータが140億でも、保持しなければならない重みは2800億パラメータ分に相当するという点が重要だ。
以下は、Baiduの公式発表、モデルカード、vLLM-ERNIEのREADMEに記載された数値を、対象となる処理と残る制約に分けて整理したものだ。実測性能を比較した表ではない。
| 項目 | 示している内容 | 注意点・制約 |
|---|---|---|
| 総数2800億／活性140億パラメータ | 各トークンの処理に使用するパラメータを一部に絞る | 全体の重みを保持する必要があり、活性比率5%は費用や消費電力の削減率ではない |
| 37層で128トークンを1件に圧縮 | HCA層で過去の履歴を保存するためのメモリを削減 | 非圧縮の参照窓と別方式の6層があるため、KVキャッシュ全体が128分の1になるわけではない |
| 最大1,048,576トークン／標準起動例131,072トークン | モデルの対応上限と、実際の起動時に指定するコンテキスト長 | 対応上限まで利用するにはGPUのメモリ容量と設定を別途確認する必要がある |
| 80GB GPU×8基のFP8構成で最大262,144トークン | 公式vLLM実装で示された特定構成の動作条件 | 100万トークンは収まらず、別の対応構成でもプリフィル用の追加メモリが必要 |
なお、モデル名や仕様で使われる「14B」は140億、「280B」は2800億パラメータを意味する。14B/280Bという比率は活性パラメータの割合、128はHCA層における履歴圧縮の単位、1Mは対応するコンテキスト長の上限を表している。これらはいずれも、実際のシステム全体のメモリ使用量や運用コストを直接示す数値ではない。
実際にモデルを導入する際は、まず全体の重みをGPUに搭載できるかを確認し、そのうえで必要なコンテキスト長を処理できるだけのメモリが残るかを検証する必要がある。推論速度や運用コストはGPU構成や同時実行数、入力の長さなどに左右されるため、実環境での測定が欠かせない。100万トークンに対応しているという仕様だけでは、その長さを処理したときの応答品質や処理速度、消費電力までは判断できない。
同規模のBaseモデルとの比較で見えた強みと弱み
BaiduはERNIE 5.5 Flash Baseの性能を検証するため、同程度の規模を持つ公開Baseモデルとの比較結果も発表した。比較対象には「DeepSeek V4 Flash Base」「Hy3 preview Base」「MiMo V2.5 Base」が含まれる。評価には共通のテスト環境、プロンプト、few-shotの提示例を使用し、自由回答形式の問題についても同じ評価モデルで判定したと説明している。いずれもBaseチェックポイント同士の比較であり、事後学習済みの対話モデルを混在させたランキングではない。
公開された評価結果によると、DeepSeek V4 Flash Baseとの比較では、MMLUの5-shot完全一致率が93.3対89.4、HumanEval+の1-shot Pass@1が82.3対69.5となり、ERNIE 5.5 Flash Baseが上回った。知識問題やコード生成に関する一部の評価で強みを示した形だ。一方、ChineseSimpleQAの10-shotでは73.0対75.3、HELMET-Rerankの0-shot NDCG@10では56.2対60.0と、DeepSeek V4 Flash Baseを下回っている。すべての評価項目で優れているわけではなく、用途によって得意分野が異なることが分かる。
これらの結果は、追加学習の基盤となるモデルを選ぶ際の判断材料になる。ただし、あくまでBaiduが公表した事前学習段階のベンチマークであり、特定用途に合わせて調整した後の性能や、完成した対話モデルとしての実用性を直接示すものではない。また、100万トークンのコンテキストを実際に使った場合の処理速度や応答品質を保証する結果でもない。導入を検討する開発者は、用途に合った評価指標を選び、追加学習後のモデルを実際の利用条件で検証する必要がある。
商用利用には売上高と地域に応じた制限がある
モデルの重みが公開されているからといって、利用条件に制約がないわけではない。ERNIE 5.5 Flash Baseには独自のライセンス契約v1.0が適用されており、非商用利用と商用利用で条件が異なる。非商用利用についてはモデルのライセンス料が発生しない。商用利用でも、関連する製品・サービスの年間売上高が5000万米ドル以下であれば、モデルのライセンス料なしで利用できる。ただし、「Powered by ERNIE」の表示と、商用利用を開始する前の一度限りの通知が必要になる。年間売上高が5000万米ドルを超える場合は、事前に別途書面による商用利用許諾を取得しなければならない。
ここでいう年間売上高は、暦年や会計年度の数字ではなく、判定時点までの直近12か月間の売上高を指す。また、ERNIE以外のAIモデルや技術を併用した製品・サービスであっても、関連する製品・サービス全体の売上高が計算対象となる。ERNIEに直接帰属する売上高だけを切り出して判定することはできない。さらに、同一の支配下にある企業については売上高を合算する規定も設けられているため、複数の法人を通じて利用する場合も注意が必要だ。
地域に関する制限もある。このライセンスでは、欧州連合（EU）、英国、韓国を許諾対象地域から除外しており、これらの地域におけるモデルや派生モデル、生成物の利用・配布などを認めていない。また、ERNIEの重みや派生モデル、生成結果を利用して、ERNIEおよびその派生モデル以外のAIモデルや機械学習システムを改善することも禁止している。モデルの改変や追加学習が認められていても、派生モデルの利用や配布には引き続きライセンス条件が適用される。
したがって、ERNIE 5.5 Flash Baseは、重みを入手して独自に利用・改変できる「オープンウェイト」のモデルと捉えるのが適切だ。特に商用サービスへの組み込みを検討する場合は、モデルの性能やGPU要件だけでなく、売上高の算定方法、提供地域、表示義務、派生モデルの扱いまで確認しておく必要がある。
今回のERNIE 5.5 Flash Baseは、2800億パラメータという大規模なモデルを、活性140億パラメータのMoE構造とKVキャッシュの圧縮技術によって効率的に利用しようとする設計が特徴だ。ただし、計算効率の高さは必ずしも少ないGPUメモリで運用できることを意味せず、100万トークンへの対応にも相応のハードウェアが必要になる。導入にあたっては、ライセンス条件を満たしたうえで、必要なコンテキスト長を扱えるGPU構成を確保し、追加学習後の性能を検証することが重要だ。そのための開発体制を整えられるかどうかが、今回のBaseモデルを採用するか、公開日未定の事後学習版を待つかの判断を分けることになる。
