東京を拠点とするAIラボ、Sakana AIが発表した新技術「M2N2」が、業界に衝撃を与えている。生物の進化に着想を得たこのアルゴリズムは、既存のAIモデル同士を「交配」させ、より強力な次世代モデルを生み出す。AI開発の常識を根底から覆す可能性を秘めた、その革新的な仕組みと未来像に迫る。

AD

AI開発の「巨大化競争」に投じられた、日本の新星

現代のAI開発は、終わりの見えない軍拡競争の様相を呈している。より多くのデータを、より巨大な計算資源を投じ、ひたすらに大規模なモデルをゼロから構築する。この「大きいことは良いことだ」という思想は、確かにAIの能力を飛躍的に向上させてきた。しかしその裏側で、莫大なエネルギー消費と、一部の巨大テック企業にしか許されない巨額の投資という、重い課題がのしかかっているのも事実だ。

この巨大化・高コスト化の流れに、真っ向から異を唱えるかのような技術が、日本の新興企業Sakana AIから発表された。その名も「M2N2（Model Merging of Natural Niches）」。彼らのアプローチは、巨大な一枚岩（モノリス）を彫り上げるのではなく、多様な生物が互いに関わり合いながら進化していく「生態系（エコシステム）」を育むという、全く新しいパラダイムを提示している。

M2N2の核心は、既存のAIモデルを「マージ（統合）」する技術にある。しかし、単に複数のモデルを混ぜ合わせる従来の手法とは一線を画す。そこに生物の「進化」のメカニズム、すなわち「生存競争」「交配」「遺伝子組換え」という3つの原理を導入したのだ。この手法は、高価な再訓練やファインチューニングを必要とせず、オープンソースなどで公開されている無数のAIモデルという集合知を、効率的に新たな能力へと昇華させる可能性を秘めている。

M2N2の核心：ダーウィンの進化論をコードに翻訳する

M2N2の独創性は、生物進化の巧みなメカニズムをAIモデルの統合プロセスに応用した点にある。なぜこのアプローチが画期的なのか。その3つの柱を、自然界のアナロジーと共に解き明かしていこう。

1. 生存競争：データという食料を巡る、AIたちのニッチ戦略

自然界では、限られた食料や生息地を巡って生物たちが競争を繰り広げる。その中で、他の種があまり利用しない資源（ニッチ）を見つけたものは繁栄しやすい。M2N2はこの「資源競争」の原理を、AIの学習プロセスに持ち込んだ。

M2N2の世界では、訓練に使われる一つ一つのデータポイントが「限られた資源」となる。あるデータに対して、多くのモデルが正解を出せる場合、その「資源」から得られる評価（フィットネス）は全モデルで分け合うため、一モデルあたりの取り分は少なくなる。一方で、他のモデルが苦手とするような難しいデータポイントで正解を出せるモデルは、競争相手がいない「未開拓の資源」を独占でき、高い評価を得る。

この仕組みは、AIモデルの集団に自然な「専門化」を促す。全てのタスクをそつなくこなす凡庸なモデルよりも、特定の領域で突出した能力を持つ「スペシャリスト」が生き残りやすくなるのだ。論文ではこの競争メカニズムを以下の数式で表現している。

fitness = Σ [score(xi|θ) / (total_population_score + ε)] × capacity

これは、あるデータポイント xi に対するモデル θ のフィットネスが、単独のスコアだけでなく、集団全体のスコア（total_population_score）に対する相対的な貢献度によって決まることを示している。この「暗黙的なフィットネス共有（Implicit Fitness Sharing）」こそが、人間が手動で「こういう多様性が望ましい」と定義することなく、システムが自律的に有用な多様性を見つけ出し、保存する鍵なのだ。

2. 賢い交配：互いの弱点を補うパートナー選び

生物の繁殖は、極めてコストの高い行為だ。だからこそ、多くの生物は最適なパートナーを慎重に選ぶ。M2N2もまた、この「賢い交配選択」の考え方を取り入れた。

従来のモデルマージング手法では、単純に性能の高いモデル同士を組み合わせることが多かった。しかし、似たような強みを持つモデルをいくら掛け合わせても、大きな進歩は望めない。二人の優秀な数学者を足しても、優れたWebエージェントが生まれないのと同じだ。

M2N2は「アトラクション（魅力）」というヒューリスティックを用いる。これは、あるモデルが苦手とするデータポイントで、逆に高い性能を発揮する別のモデルを「魅力的なパートナー」と見なす仕組みだ。つまり、互いの弱点を補い合える、相補的な強みを持つペアを優先的に「交配」させるのである。この戦略的なペアリングにより、探索の効率と最終的な統合モデルの品質が劇的に向上する。

3. 遺伝子組換え：固定観念を打ち破る柔軟な融合

従来のモデルマージングには、重大な制約があった。それは、モデルのパラメータをどの単位で区切って混ぜ合わせるかを、人間が事前に「レイヤーごと」などと固定的に決めなければならなかったことだ。これは、遺伝子を染色体単位でしか交換できないようなもので、組み合わせの可能性を著しく狭めていた。

M2N2は、この固定的な境界を撤廃した。代わりに導入されたのが「動的な分割点（Dynamic Split-points）」だ。これは生物の「遺伝子組換え」に相当する。親から子へ遺伝子が受け継がれる際、染色体上の任意の位置でDNAが切断・交換されるように、M2N2はモデルのパラメータをどの位置で分割し、どの比率で混ぜ合わせるか（ミキシングレシオ）をも進化の対象としたのだ。

ℎM2N2(θA, θB, wm, ws) = concat[...]

この数式が示すのは、2つの親モデル（A, B）を、進化によって決定された分割点 ws と混合比率 wm に基づいて結合するプロセスだ。世代を重ねるごとに、システムはより複雑で、より効果的なパラメータの組み合わせを自ら発見していく。これにより、人間には思いもよらないような、真に最適化されたハイブリッドモデルの創出が可能になる。

AD

実験が証明した「進化するAI」の驚くべき成果

M2N2の理論はエレガントだが、その真価は実際の実験結果によって証明されている。研究チームは3つの異なる領域でM2N2の能力を検証し、いずれも驚くべき成果を叩き出した。

歴史的快挙：無（カオス）からの生命誕生

最初の実験は、手書き数字を認識するMNISTデータセットを用いたものだ。ここでM2N2は、AI研究史上でも特筆すべき成果を上げた。完全にランダムな状態のニューラルネットワークから出発し、進化のプロセスだけを経て、高精度な画像分類モデルを「ゼロから」生成することに成功したのだ。これは、モデルマージングが単なる既存モデルの改良ツールではなく、新たなモデルを生み出す「訓練手法」としても利用できることを世界で初めて実証した瞬間だった。

さらに、このプロセスは計算効率においても優れていた。確立された進化計算手法であるCMA-ESに匹敵する性能を達成しながら、計算量は遥かに少なく済んだ。これは、M2N2のスケーラビリティの高さを示唆している。

専門家たちの融合：数学者とWebエージェントのハイブリッド

次にチームは、より複雑な大規模言語モデル（LLM）の融合に挑んだ。選ばれたのは、数学の問題解決に特化した「WizardMath-7B」と、Web上のタスク（オンラインショッピングなど）を得意とする「AgentEvol-7B」だ。これらは共にMeta社のLlama 2をベースとするが、それぞれ全く異なる専門性を持つ。

M2N2を用いてこれらを統合した結果、生まれたハイブリッドモデルは、数学的推論（GSM8kベンチマーク）とウェブタスク（WebShopベンチマーク）の両方で、他のマージング手法を大幅に上回る高性能を示した。特筆すべきは、一方の能力を学習させるともう一方の能力を忘れてしまう「破滅的忘却」を起こすことなく、両方の専門知識を一つのモデル内に見事に共存させた点だ。これは、既存の資産を活かしながらAIの能力を拡張していく上で、極めて重要な特性である。

  • M2N2の成果: 数学タスクで40.16%、Webタスクで86.81%の精度を達成。

予期せぬ才能の開花：日本語を学び、英語を忘れなかった画像AI

最も示唆に富み、M2N2の底知れないポテンシャルを感じさせたのが、テキストから画像を生成するモデルでの実験だ。

チームは、日本語プロンプトに特化したモデル「JSDXL」と、主に英語プロンプトで訓練された3つのStable Diffusion系モデルを統合した。目的は、各モデルの優れた画像生成能力を凝縮しつつ、JSDXLの日本語理解能力を維持することだった。

驚くべきことに、日本語のキャプションのみを用いて最適化を進めたにもかかわらず、生成されたモデルは日本語能力を維持しただけでなく、元のどのモデルよりも高いレベルで英語プロンプトを理解する能力を獲得したのだ。これは「創発的な二言語能力」とでも言うべき現象であり、M2N2が単なる能力の足し算ではなく、予期せぬ相乗効果や未知の能力を生み出す可能性を示している。

  • 画像品質: FIDスコア13.21を達成（ベースラインのCMA-ESは13.51）。
  • 言語間の一貫性: CLIP類似度スコアが0.787に向上（日本語専門モデル単体では0.701）。

この結果は、モデルマージングが、従来のファインチューニングでは避けがたい破滅的忘却に対する、極めて堅牢な代替策となりうることを強く印象付けた。

AI開発は「製造」から「栽培」へ

今回のSakana AIの研究は、単なる一つの優れたアルゴリズムの発表に留まらない。これはAI開発の根本哲学における、大きな変化の始まりであると捉えられる。

これまでの主流であった大規模モデル開発は、いわば「モノリスの製造」だった。巨大な工場（データセンター）で、最高の素材（データ）と最高の技術（アーキテクチャ）を使い、一つの完璧な製品を作り上げる。このアプローチは確かに強力だが、硬直的で、莫大な初期投資を必要とし、環境への負荷も大きい。

対してM2N2が示す未来は、「エコシステムの栽培」だ。多種多様なモデル（生物）が共存する豊かな土壌（オープンソースコミュニティなど）を用意し、それぞれがニッチな領域で専門性を磨き、時には交配して新たな種を生み出しながら、環境の変化に柔軟に適応していく。このアプローチは、より持続可能で、効率的かつ強靭なAIの未来像を描き出す。

このパラダイムシフトがもたらすメリットは計り知れない。

  • 計算効率と民主化: 巨額の投資なしに、既存のオープンソースモデルを組み合わせることで、誰もが強力なカスタムAIを開発できる道が開かれる。
  • 継続的な進化: 「破滅的忘却」を恐れることなく、新たな能力を次々と追加・統合し、AIを永続的に進化させることが可能になる。
  • 柔軟性と多様性: 元の学習データや勾配情報がなくても、モデルの重みさえあれば統合できるため、異なる目的やアーキテクチャを持つモデル群を組み合わせることも理論上は可能だ。
  • イノベーションの源泉: 創発的な能力が示すように、予測不可能なイノベーションが、モデルたちの相互作用の中から生まれるかもしれない。

AD

残された課題とAI生態系の未来

もちろん、この「栽培」アプローチも万能ではない。研究者自身が指摘するように、モデルマージングの成功は、統合されるモデル同士の「互換性」に大きく依存する。元となるアーキテクチャから大きくかけ離れてしまったモデル同士を効果的にマージするのは依然として困難だ。

将来的には、モデル間の互換性を測る指標を確立したり、互換性を維持するような共進化の圧力を設計したりといった研究が必要になるだろう。また、VentureBeatの記事が指摘するように、オープンソース、商用、カスタムモデルが混在する複雑な「マージ済みモデル」を運用する上での、プライバシー、セキュリティ、コンプライアンスといった組織的・法的な課題も避けては通れない。

しかし、これらの課題は、この新しいパラダイムが現実のものであることの裏返しでもある。M2N2は、AI開発の未来が、少数の巨大な「恐竜」が支配する世界ではなく、無数の多様な生物が相互作用し、進化を続ける豊潤な「生態系」になる可能性を、力強く示したのだ。Sakana AIが投じたこの一石が、AI業界の潮流をどう変えていくのか。その進化の行く末から、目が離せない。

論文

参考文献