Microsoft AIは2026年10月15日、総パラメータ数2.8兆の基盤モデル「MAI-Base-2」の事前学習を完了したと発表した。画像とテキストの両方を扱う次世代AIモデルの基盤となるもので、同社によると、学習時の計算効率はDeepSeek-V4-Pro-Baseと比較して4〜12倍に達するという。ただし、実際には比較対象よりも多くの計算資源を投入しており、現在も指示追従や推論能力などを高める事後学習が続いている。今回の技術報告で注目されるのは、単にモデルを大型化したことではなく、学習データの反復方法からGPU間の通信まで、学習システム全体を見直した点だ。Microsoftが主張する効率改善の意味と、その実現に使われた技術を詳しく見ていく。

AD

2.8兆パラメータの巨大モデルをどう動かすのか

MAI-Base-2は、入力されたトークンに応じてモデルの一部だけを動かす「Mixture of Experts（MoE）」アーキテクチャを採用している。総パラメータ数は2兆8000億に達するが、各トークンの処理で実際に使われるのは800億パラメータだ。大量のパラメータに知識を蓄えながら、毎回の計算に参加する部分を限定することで、計算負荷を抑える仕組みとなっている。そのため、総パラメータ数だけを見て、すべてのパラメータを毎回使用する通常の密なモデルと計算コストを比較することはできない。

Microsoftの公式技術報告には、前世代のMAI-Base-1との仕様の違いがまとめられている。

項目 MAI-Base-1 MAI-Base-2
総パラメータ数 1兆 2.8兆
稼働パラメータ数 350億 800億
層数 78 102
FFN部分の配置 密なFFNとMoEを交互に配置 各層にMoEを配置
学習トークン数 30兆 50兆
視覚の事前学習 テキストのみ 画像とテキストを扱う

FFN（Feed-Forward Network）は、各層で入力された特徴を変換するネットワークであり、MoEではこの処理を複数の専門ネットワークに振り分ける。MAI-Base-2では512個の専門ネットワークから7個を選択し、常に使用する共有部分と組み合わせて処理する。また、前世代では密なFFNとMoEを交互に配置していたのに対し、新モデルでは各層のFFN部分にMoEを採用した。これは注意機構などを廃止したという意味ではなく、各層で特徴を変換する部分の構成を変更したものだ。

画像への対応も、学習データを追加するだけでなく、モデル構造の変更を伴っている。MAI-Base-2は独立した画像エンコーダーを使用しない視覚言語モデルとして設計され、事前学習の段階から画像とテキストの両方を扱う。視覚言語データは重複を除くと4.5兆トークンに相当し、繰り返し使用した分も含めると、全50兆トークンの学習量の18％を占める。したがって、50兆という数字は学習中に処理したトークンの総量であり、すべてが異なるデータだったわけではない。

学習データには、図表の読解や空間的な推論に関する内容も含まれている。ただし、これは学習対象の説明であり、モデルが実際にどの程度の能力を獲得したかを示す評価結果ではない。Microsoftはすでに2026年6月にMAI-Thinking-1を発表しており、今回初めて独自AIモデルの開発に着手したわけではない。MAI-Base-2は、これまで整備してきた基盤モデルの開発体制をさらに拡大し、画像を含む大規模な事前学習へ発展させたものと位置付けられる。

「学習効率が最大12倍」は何を比較した数値なのか

Microsoftがモデルの性能比較に使用した指標は「BPB（Bits Per Byte）」だ。これは学習に使用していない文章に対する予測損失を、1バイト当たりのビット数で表したもので、値が低いほど、その文章に高い確率を割り当てられていることを意味する。トークンの分割方法が異なるモデル同士でも比較しやすい一方、数学の問題やプログラミング課題をどれだけ正しく解けるかを直接示す指標ではない。

評価には、コード、Q&A、数学、STEM（科学・技術・工学・数学）の4領域が使われた。コードの評価資料にはMAI自身のコードを使用し、Q&A、数学、STEMについては外部業者に資料の作成を依頼したという。Microsoftは学習データとの重複を除去する処理も行い、評価対象が学習データに含まれることで結果が有利になる問題を抑えたと説明している。ただし、評価そのものはMicrosoftによる内部評価であり、一部の資料を外部業者が作成したからといって、独立した第三者評価が行われたことにはならない。

10月15日付の技術報告に掲載された図1と図3をもとに、DeepSeek-V4-Pro-Baseとの比較を整理すると以下のようになる。

評価領域 DeepSeek-V4-Pro-BaseのBPB MAI-Base-2のBPB BPBの相対低下率 学習FLOPsの効率比（公式推定）
コード 0.2370 0.2203 約7.0% 12.3倍
Q&A 0.4351 0.4162 約4.3% 4.2倍
STEM 0.3968 0.3653 約7.9% 8.3倍
数学 0.3862 0.3561 約7.8% 6.6倍

BPBの相対低下率は、各領域について「（DeepSeekのBPB−MAIのBPB）÷DeepSeekのBPB×100」で計算し、小数第1位に丸めたものだ。完成したモデル同士を比べると、MAI-Base-2のBPBはDeepSeek-V4-Pro-Baseより約4.3〜7.9％低い。一方、Microsoftが示した学習効率の改善幅は4.2〜12.3倍と、はるかに大きな数字になっている。これは両者が異なる指標を測っているためであり、BPBの低下率を正答率の向上率と解釈することもできない。

学習効率の倍率が表しているのは、同じBPBに到達するために必要な学習計算量の推定比率だ。Microsoftは、同じ学習方法を用いて規模の異なる複数のモデルを訓練し、学習計算量とBPBの関係を領域ごとに曲線へ当てはめた。その曲線から、DeepSeek-V4-Pro-Baseと同じBPBに到達するために必要な計算量を推定し、DeepSeekの学習計算量と比較している。完成したMAI-Base-2の測定値も曲線の当てはめに含まれており、比較対象となる到達点は当てはめた範囲内に収まっている。

ここで重要なのは、学習方法の効率と、完成したモデルに実際に投入した計算量を区別することだ。Microsoft自身、DeepSeek-V4-Pro-Baseの実際の学習計算量はMAI-Base-2よりかなり少ないと明記している。つまり、MAI-Base-2をDeepSeekの12分の1の計算量で学習したという意味ではない。同社は学習方法の効率化によって得た余裕を、モデルの大規模化に振り向けたと説明している。

比較対象となるモデルの学習段階にも違いがある。DeepSeek-V4-Pro-Baseは事前学習済みの基盤モデルだが、併せて比較対象に挙げられたKimi K3などは事後学習済みであり、Microsoftもその影響を考慮する必要があると注意している。また、評価資料の件数や測定結果の信頼区間については、今回の評価説明に記載がない。この報告はMicrosoftが公開したLab Notesと技術PDFに基づくものであり、査読を経た論文や独立した第三者による性能検証とは区別する必要がある。

AD

小規模実験でも本番と同じデータの反復条件を再現

50兆トークンという大規模な学習を効率よく進めるには、事前に小さなモデルで適切な学習設定を探ることが欠かせない。しかし、小規模な実験で良好だった設定が、巨大モデルでも最適とは限らない。Microsoftはこの問題に対処するため、モデルの規模に応じた学習トークン数だけでなく、同じデータを繰り返し使用する回数も、本番学習に合わせる方法を採用した。具体的には、稼働パラメータ当たりの学習トークン数をそろえた複数サイズのモデルを用意し、データの反復条件も統一して実験した。

例えば、本番の50兆トークンの学習で、あるデータ群を8回繰り返して使用するとする。この場合、5兆トークンの小規模実験では、対象データ群を10分の1に縮小したうえで、同じように8回繰り返す。単に学習トークン数を10分の1にして、異なる新しいデータを次々と与えるわけではない。こうすることで、モデルやデータの規模だけでなく、同じ情報を何度も学習するという条件も本番に近づけられる。

データを繰り返し使用した場合の学習効率は、以前から研究されている。Niklas Muennighoff氏らによる論文「Scaling Data-Constrained Language Models」では、計算予算とデータの反復回数を変えて実験し、反復回数が増えるほど追加の計算から得られる改善が小さくなることを報告している。この研究はMAI-Base-2とは規模も条件も異なるため、そこで得られた反復回数の目安を直接適用することはできない。それでも、同じ数のトークンを処理したからといって、同じ量の新しい情報を学習したことにはならないという重要な問題を示している。

Microsoftによると、小規模実験でデータの反復条件をそろえなければ、大規模化した際に過学習を招きやすい設定を選んでしまう恐れがあるという。そのため、学習率と重み減衰についても複数の組み合わせを探索し、小規模実験で得た経験則を中規模の実験で検証してから、本番の学習に適用した。今回の効率改善は、特定の新しい数式やアルゴリズムだけで達成されたものではない。小規模実験の段階から本番の学習条件をできる限り再現することで、設定の選択精度を高めたことも重要な要素となっている。

MoEの通信最適化とMuonの導入で学習速度を改善

MoEをすべての層に配置する設計は、Microsoftの過去の実験でも演算量の面では有利だった。しかし、前世代のMAI-Base-1では、密なFFNとMoEを交互に配置する方式が採用されていた。理論上の演算量が少なくても、実際のGPUで処理する際には、通信やメモリ管理の負担によって計算が遅くなるためだ。前世代では、こうした実装上の負担を含めると、交互配置の方が短い時間で学習を進められたという。

MoEの大きな課題の一つは、各専門ネットワークに割り当てられるトークン数が均等にならないことだ。最も多くのトークンが集中する場合を想定してメモリを確保すると、通常は使用されない領域が大量に生じる。一方、処理容量を超えたトークンを捨てる方法では、Microsoftの実験でモデルの性能が低下した。計算資源を無駄なく使いながら、必要なトークンをすべて処理できる仕組みが求められていた。

MAI-Base-2では、各専門ネットワークの処理容量を固定し、容量を超えたトークンを追加の処理回に回す方式を採用した。同じグループ内で余っている容量も融通することで、特定の専門ネットワークへの負荷集中に対応している。さらに、GPU間でデータを送る処理、実際の演算、結果を回収する処理を重ねて実行し、通信待ちによる無駄を削減した。細かな演算を何度も起動する負担や、GPU間のデータ転送に伴うオーバーヘッドも抑えている。これらの改善により、MoE層の計算利用率は24％から35％に上昇し、すべての層にMoEを配置する構成を採用できるようになったという。

重みの更新に使う最適化アルゴリズムには「Muon」を採用した。Muon自体はMicrosoftが新たに開発したものではなく、Jingyuan Liu氏らによる論文「Muon is Scalable for LLM Training」でも、重み減衰や更新幅の調整を加え、MoEモデルの学習に適用した成果が報告されている。Microsoftが取り組んだのは、この手法を極めて大規模な分散学習環境で効率よく動作させることだった。

Muonは、重み行列の更新履歴に対して行列演算を行うため、複数のGPUに分割して保存された情報を集め直し、計算後に再び分配する必要がある。この処理はモデルが大型化するほど負担となるため、Microsoftは形状のそろった行列をまとめて扱い、通信と演算を並行して進めるなどの最適化を加えた。その結果、最終的な学習構成では、Muonの処理時間を学習の1反復にかかる平均時間の2.1％に抑えたという。ただし、学習効率の改善は複数の技術を組み合わせた結果であり、Microsoftが示す4〜12倍という倍率をMuonだけの効果とみなすことはできない。

学習を安定させるためには、「活性値の勾配クリッピング」という手法も導入した。これはモデル内部の活性値に対して極端に大きな勾配が生じた際、その影響を局所的に抑える仕組みだ。通常の勾配クリッピングでは、少数の異常なデータによってバッチ全体の更新が弱められる場合があるが、より細かい単位で制御することで、その影響を抑える狙いがある。Microsoftはこの仕組みを手掛かりに、前処理によって文が途中で切れていたコードデータの不具合も発見したという。学習アルゴリズムの改善が、データ処理上の問題の特定にもつながったことになる。

実際のMAI-Base-2の事前学習には、2026年8〜9月にかけて16,000基のNVIDIA GB200 GPUが使用され、38日間にわたって計算が行われた。学習全体のモデル計算利用率を表す「MFU（Model FLOPs Utilization）」は21％で、学習が進んでいた時間の割合は89％だった。MFUはGB200のBF16理論演算性能を基準に計算されており、再計算や最適化処理に伴う演算は分子に含まれていない。一方、89％は学習が実際に進行していた時間の割合であり、GPUの計算能力を89％使い切っていたという意味ではない。また、前述したMoE層の計算利用率35％とも測定対象が異なるため、これらの数字を同じ指標として比較することはできない。

今回の取り組みは、理論上の演算量を減らすだけでなく、GPUの通信、メモリ管理、最適化処理を改善し、実際の学習時間を短縮することの重要性を示している。ただし、事前学習の計算効率が高まったとしても、完成したモデルの推論速度やメモリ使用量、APIの利用料金まで同じ割合で改善するとは限らない。学習時の効率と、利用者が実際にモデルを動かす際の効率は、分けて評価する必要がある。

AD

企業向けモデルとしての実力は事後学習後の評価が焦点

Microsoftは、今回の事前学習では他社モデルの出力を利用した蒸留を行わず、学習に使用したトークンを自社で処理したと説明している。データの来歴を把握できることを重視しており、こうした方針は、Microsoft Foundryを通じて信頼できる提携先にモデルの重みをライセンスする計画とも関係している。単に独自の基盤モデルを開発するだけでなく、企業が用途に応じてモデルを調整し、運用できる環境の整備を進めていると考えられる。

ただし、今回の発表は、MAI-Base-2の重みを誰でも自由に取得できる形で公開するというものではない。モデルは現在、指示追従や推論などの能力を整える事後学習の段階にあり、正式な利用開始日や価格も明らかにされていない。また、事前学習で蒸留を使用しなかったという説明を、その後のすべての学習工程にも適用できるとは限らない。今回公表された性能と効率の数値は、あくまで事前学習段階のモデルに関するものだ。

企業がMAI-Base-2の導入を判断するには、事後学習を終えたモデルが、実際の業務でどの程度の性能を発揮するかを確かめる必要がある。特に、コードの生成・修正や図表の読解、専門的な推論について、競合モデルと同じ条件で比較した独立評価が重要になる。さらに、応答速度や利用料金、モデルの重みを利用するためのライセンス条件も、採用を左右する要素となる。今回の成果は、大規模AIモデルを効率よく学習させる技術の進歩を示すものだが、それが利用者にとってどれほどの性能向上やコスト削減につながるかは、完成したモデルの公開と実運用での検証を待つ必要がある。