Alibabaの研究者たちが、大規模言語モデル（LLM）の訓練方法に一石を投じる可能性を秘めた新技術「ZeroSearch」を発表した。この革新的なアプローチは、AIがまるで”自分自身でググる”かのように情報検索能力を学習することを可能にし、しかも従来の課題であった高額な商用検索エンジンAPIの利用コストを最大88%も削減するという。AI開発の常識を覆しかねないこのZeroSearchは、一体どのような仕組みで、我々の未来に何をもたらすのだろうか。
LLM訓練の壁：高騰するAPIコストと不安定な情報源
今日のAI、特に大規模言語モデル（LLM）がその知識を最新の状態に保ち、未知の問いにも的確に答えるためには、外部の情報源からリアルタイムに情報を検索・取得する能力が不可欠だ。これまでの研究では、主に強化学習（RL）を用い、Googleのような実際の検索エンジンとAIを連携させることで、この検索能力を訓練してきた。
しかし、この従来型アプローチには大きな課題が二つ潜んでいた。一つは、法外なAPIコストである。強化学習の訓練には、数十万回にも及ぶ検索リクエストが必要になる場合があり、商用検索エンジンのAPI利用料金は開発予算を著しく圧迫する。これにより、特に資金力の乏しいスタートアップや研究機関にとっては、高度な検索AIの開発は高い壁となっていた。
もう一つの課題は、検索ドキュメントの品質が制御不能である点だ。実際のウェブ検索では、返ってくる情報が常に高品質であるとは限らず、ノイズや不正確な情報が含まれることも少なくない。このような予測不可能な情報源は、AIの学習プロセスに不安定性をもたらし、効率的な訓練を妨げる要因となっていた。
Alibabaの「ZeroSearch」とは？ AIが”検索”をシミュレーションする
こうした課題を解決すべく、Alibaba Groupの研究者たちが開発したのが「ZeroSearch」である。その核心的なアイデアは、訓練プロセスにおいて実際の検索エンジンを一切使用せず、代わりに別のLLMを用いて検索プロセス全体をシミュレーションするという点にある。いわば、AIがAIのための「模擬検索エンジン」となり、訓練対象のLLMに情報を提供するのだ。
「我々の重要な洞察は、LLMが大規模な事前学習を通じて広範な世界の知識を獲得しており、検索クエリを与えられれば関連文書を生成する能力を持っているということです」と研究者たちは論文で述べている。つまり、LLMは既に検索エンジンが返すような情報を内部に持っている、あるいは生成できる素地があるというわけだ。
賢い検索AIを育てる「3つの柱」
ZeroSearchがこの模擬検索を実現し、効果的にLLMを訓練するためには、主に3つの技術的要素が巧みに組み合わされている。
- 軽量教師ありファインチューニング (Lightweight Supervised Fine-Tuning – SFT):
まず、シミュレーションを担当するLLM（検索モジュールLLM）を準備する。このLLMに対し、特定の検索クエリに対して「関連性の高い文書」と「意図的に関連性の低い（ノイズの多い）文書」の両方を生成できるように、比較的軽量なSFTを行う。これにより、検索モジュールLLMは、本物の検索エンジンのように、様々な質の情報を提供できるようになる。 - 強化学習 (Reinforcement Learning – RL):
訓練対象のLLMは、この検索モジュールLLMと対話しながら、最適な情報検索戦略を学習していく。具体的には、LLMが質問に対して思考し（<think>タグ）、情報が不足していると判断すれば検索クエリを生成し（<search>タグ）、検索モジュールLLMから情報を取得し（<information>タグ）、最終的な答えを導き出す（<answer>タグ）。この一連の行動の結果が良ければ報酬を与え、悪ければペナルティを与えることで、LLMは試行錯誤を通じてより賢い検索方法を身につけていく。 - カリキュラム学習 (Curriculum Learning):
訓練の初期段階では、検索モジュールLLMは主に質の高い、つまり「有用な」情報を生成する。これにより、訓練対象のLLMはまず基本的な検索の作法やタスクの進め方を学ぶ。訓練が進むにつれて、検索モジュールLLMが生成する情報の質は徐々に「ノイズの多い」ものへと変化していく。この段階的な難易度の上昇（カリキュラム）により、LLMは不確実な情報や矛盾する情報の中からでも、的確に推論し、正しい答えを導き出す能力、いわば情報の「目利き」能力を鍛え上げられるのだ。これはまるで、最初は簡単な問題を解き、徐々に複雑な問題に挑戦していく人間の学習過程にも似ている。
実力は本物か？ Google Searchを凌駕し、コストは88%減
では、このZeroSearchの実力はどれほどのものなのだろうか。Alibabaの研究者たちは、7つの著名な質問応答データセット（Natural Questions、TriviaQA、HotpotQAなど）を用いて広範な実験を行った。
その結果は驚くべきものだった。70億パラメータを持つ検索モジュールLLMを用いたZeroSearchは、Google Searchと同等の性能を達成。さらに、140億パラメータのモジュールを用いた場合には、Google Searchを凌駕する性能さえ示したのだ。
コスト削減効果も絶大だ。研究者たちの分析によれば、約64,000回の検索クエリを用いた訓練において、Google SearchをSerpAPI経由で利用した場合のコストが約586.70ドルだったのに対し、140億パラメータのシミュレーションLLMを4基のA100 GPUで動作させた場合のコストは、わずか70.80ドル。これは実に88%ものコスト削減に相当する。
さらに、ZeroSearchは特定のLLMアーキテクチャに依存せず、Alibaba自身のQwen-2.5やMetaのLLaMA-3.2といった異なるモデルファミリー、さらにはベースモデルと指示チューニング済みモデルの両方で有効性が確認されている。また、PPO（Proximal Policy Optimization）やGRPO（Group Relative Policy Optimization）など、様々な強化学習アルゴリズムとも互換性があるという。
ZeroSearchが拓くAI開発の未来図
ZeroSearchの登場は、AI開発のランドスケープに大きな変化をもたらす可能性を秘めている。
まず、開発コストの劇的な低減は、これまで高額なAPI利用料に苦しんできた多くの開発者にとって朗報だ。特に、資金力が限られるスタートアップや学術研究機関でも、高度な情報検索能力を持つAIアシスタントの開発に着手しやすくなるだろう。これは、AI分野におけるイノベーションの裾野を広げ、競争を促進する効果が期待できる。
次に、開発者による訓練プロセスの精密な制御が可能になる点も見逃せない。実際の検索エンジンを利用する場合、返ってくるドキュメントの質は予測不可能で、訓練の再現性や安定性に影響を与えることがあった。しかしZeroSearchでは、シミュレーションLLMが生成する情報の質やスタイルを開発者が意図的にコントロールできるため、より安定した、かつ目的に合致したAIの育成が可能になる。
そして長期的には、AIの自律性と自己改善能力の向上に繋がるかもしれない。外部の検索エンジンという「杖」に頼らずとも、AI自身がシミュレーション環境で学習し能力を高めていくというZeroSearchのコンセプトは、「AIがAIを作る」時代の到来を予感させる。これは、巨大テック企業が提供するプラットフォームへの依存度を低減させる動きにも繋がり得る。
ZeroSearchはいかにして「賢い検索」を実現するのか
ZeroSearchの巧妙さは、その内部構造にも見て取れる。
例えば、訓練対象のLLMは、前述の通り<think>（思考）、<search>（検索クエリ生成）、<information>（情報取得）、<answer>（回答）といったタグを用いることで、その思考プロセスを構造化するよう促される。これにより、AIの意思決定プロセスが透明化され、デバッグや分析が容易になるだけでなく、より信頼性の高い応答を引き出すことにも繋がる。
また、シミュレーションLLMが、プロンプト内のわずかなキーワード（例えば「useful」か「noisy」か）を調整するだけで、関連性の高い「使える情報」と意図的な「ノイズ情報」を巧みに生成し分ける能力は、カリキュラム学習を効果的に実施する上で非常に重要だ。
興味深いことに、訓練の初期段階では、LLMは検索エンジンを適切に呼び出す方法を知らないため、冗長な検索インタラクションを行う傾向がある。しかし学習が進むにつれて、このインタラクション回数は急速に減少し、その後は安定した効率的な検索行動を示すようになるという。これは、AIがタスクを理解し、無駄な行動を削ぎ落としていく学習プロセスを如実に示している。
Alibabaの野心と皮肉：検索エンジン不要のAI開発へ
AlibabaがこのZeroSearchという技術を開発し、そのコード、データセット、事前訓練済みモデルをGitHubやHugging Faceで惜しげもなく公開した背景には、どのような意図があるのだろうか。
一つには、AI開発コミュニティ全体への貢献という側面があるだろう。コストという大きなボトルネックを解消する可能性のある技術を提供することで、業界全体の発展を促進しようという姿勢が窺える。
しかし、そこにはある種の皮肉も含まれている。AIに検索エンジンを使わずに検索を教えることで、Alibabaは結果的に、AI開発において伝統的な検索エンジンの必要性を低下させる技術を生み出したのかもしれない。AIシステムがより自己充足的になれば、数年後のテクノロジーランドスケープは大きく様変わりしている可能性もある。これは、検索エンジンという巨大な市場を長らく支配してきた企業にとっては、静かなる挑戦状とも受け取れるかもしれない。
ZeroSearchはゲームチェンジャーとなり得るか
AlibabaのZeroSearchは、LLMの訓練における長年の課題であったAPIコストと情報品質の不安定性に対し、独創的な解決策を提示した。AIがAIを訓練し、シミュレーションを通じて現実世界で通用する能力を獲得するというアプローチは、間違いなくAI研究開発における重要な一歩と言えるだろう。
もちろん、ZeroSearchにも限界はある。シミュレーションLLMを稼働させるためにはGPUサーバーが必要であり、商用APIコストは削減できても、インフラコストが新たにかかる。ただし、Alibabaの研究者たちは、複数の訓練タスクで単一のシミュレーションサーバーを共有することで、このコストをさらに削減できる可能性も示唆している。
この技術が今後どのように進化し、AI開発の現場に浸透していくのか。そして、より高度な自己学習能力を備えたAIの登場を加速させるのか。ZeroSearchがAI開発の「ゲームチェンジャー」となるのかどうか、注目していきたいところだ。
論文
参考文献
そして最初が間違えていると、基本設計に立ち戻らずその間違いをどこまでも広範囲に広めて行く訳ですね。
キリン「分かります」