AIモデルによる数学的推論の分野で、Microsoftが画期的な進展を報告した。同社が開発した新技術「rStar-Math」により、比較的小規模な言語モデル（SLM）でもOpenAIの最新モデルを上回る数学的推論能力を実現したことが明らかになった。この成果は、AIモデルの大規模化に頼らない新たな方向性を示唆している。
革新的な技術で小規模モデルの限界を突破
rStar-Mathの核となるのは、人間の「深い思考」を模倣したモンテカルロ木探索（MCTS）と呼ばれる手法だ。この技術により、複雑な数学的問題を段階的に分解し、より単純な推論ステップの組み合わせとして解決することを可能にした。
研究チームが採用した手法の特徴的な点は、自然言語による説明とPythonコードを組み合わせた二重の出力システムにある。モデルは各推論ステップにおいて、その思考過程を自然言語で説明すると同時に、対応するPythonコードも生成する。このコードは実際に実行可能であり、各ステップの正確性を具体的に検証できる仕組みとなっている。これにより、モデルの推論過程の信頼性を大幅に向上させることに成功している。
さらに注目すべきは、「ポリシーモデル」と「プロセス選好モデル（PPM）」という2つの独自のモデルを組み合わせた点だ。ポリシーモデルは数学的推論のステップを生成し、PPMはそれらのステップの中から最も有望なものを選択する役割を担う。これら2つのモデルは4ラウンドにわたる「自己進化」プロセスを経て相互に改善を重ねていく。
この自己進化プロセスでは、研究チームは公開されているソースから74万7000件の数学の文章題とその解答を収集し、初期データとして活用した。しかし、単にデータを使用するだけでなく、2つのモデルを用いて新たな解法のステップを生成し、それらを継続的に改善していった。この反復的な改善プロセスにより、モデルは段階的に性能を向上させることに成功している。
特筆すべきは、このアプローチが従来の大規模言語モデルとは異なる方向性を示している点だ。これまでの主流アプローチは、より大きなモデルを構築することで性能向上を図るものだった。一方、rStar-Mathは比較的小規模なモデルでありながら、効率的な推論手法と継続的な自己改善プロセスを組み合わせることで、より大規模なモデルに匹敵する、あるいはそれを上回る性能を実現している。
モデルの推論過程における重要な特徴として、「内在的な自己反省能力」の出現も確認されている。これは、モデルが問題解決の途中で誤りに気付いた場合、自発的に軌道修正を行い、より適切な解法に切り替える能力を示している。このような自己修正能力は、OpenAIのo1モデルでも注目された特徴の一つだが、rStar-Mathではより小規模なモデルでこの能力を実現している。
驚異的な性能向上を実現
rStar-Mathの革新性は具体的な数値で示されている。最も顕著な成果は、Qwen2.5-Math-7Bモデルでの性能向上だ。このモデルは、数学的推論能力を測る標準的なベンチマークであるMATH benchmarkにおいて、従来の58.8%から90.0%へと正確性を大幅に向上させた。この結果は、OpenAIのo1-previewを4.5%上回るものであり、業界最高峰のo1-miniと同等の性能を達成したことを意味する。
さらに注目すべきは、この性能向上がさまざまな規模のモデルで確認されている点だ。例えば、わずか15億パラメータのQwen2.5-Math-1.5Bモデルでも、rStar-Mathの適用により、MATH benchmarkでの正確性が51.2%から88.6%へと飛躍的に向上している。また、一般的な用途向けに設計されたPhi3-mini-Instructモデル（3.8B）でも、41.4%から86.4%への大幅な性能向上を実現した。
特に印象的なのは、アメリカ数学招待試験（AIME）での成績だ。AIMEは、アメリカの最も優秀な高校生数学者を選抜するための試験として知られている。rStar-Mathは、この難易度の高い試験問題の53.3%（15問中8問）を正しく解答することに成功した。この成績は、人間の受験者の上位20%に相当する水準であり、AIの数学的推論能力が実用的なレベルに達していることを示している。
大学レベルの数学問題を集めたCollege Math benchmarkでも、rStar-Mathは卓越した性能を示している。このベンチマークでは、o1-miniの性能を2.7%上回る成績を達成した。また、オリンピアドレベルの問題を含むOlympiad Benchでも、65.6%という高い正解率を記録している。
注目すべきは、これらの成果がすべて、従来の10倍以上大きな報酬モデルを使用するQwenのBest-of-N手法を上回っている点だ。rStar-Mathは、より小さなモデルと効率的な推論手法の組み合わせにより、大規模なモデルを必要としない新たなアプローチの有効性を実証している。
ただし、現状での限界も明らかになっている。特に、AIMEの未解決問題8問のうち7問が幾何学的な問題であり、視覚的な理解を必要とするものだった。これは、rStar-Mathの現バージョンが視覚的推論能力をサポートしていないことを示しており、この点は、今後の研究開発における重要な課題の一つとして認識されている。
これらの実験結果は、単なる性能向上にとどまらず、AI開発における新たなパラダイムの可能性を示唆している。大規模なモデルと計算リソースに依存せずに、効率的な推論手法と段階的な自己改善プロセスを組み合わせることで、高度な問題解決能力を実現できることが実証されたのだ。
AIの効率化に向けた新たな道筋
この研究成果は、AI開発における重要な転換点となる可能性を秘めている。これまでのAI開発では、より大きなモデルを構築することで性能向上を図る傾向が主流だった。しかし、そのアプローチは膨大な計算リソースと電力消費を必要とし、環境負荷や運用コストの観点から課題が指摘されていた。
rStar-Mathは、モデルの大規模化に頼らずに高度な推論能力を実現する新たな方向性を示している。Microsoft Asia のプロジェクトリーダーであるLi Lyna Zhang氏は、現在オープンソース化に向けた内部レビューを進めていることを明らかにしている。
技術の詳細は、arXiv.orgに掲載された論文で報告されており、コードとデータはGitHubでの公開が予定されている。この成果は、中規模の組織や研究機関にとっても、最先端の機能に手が届くようになることを意味している。
論文
- arXiv: rStar-Math: Small LLMs Can Master Math Reasoning with Self-Evolved Deep Thinking
- Hugging Face: rStar-Math: Small LLMs Can Master Math Reasoning with Self-Evolved Deep Thinking
参考文献
- GitHub: microsoft/rstar
- TechXplore: Microsoft introduces rStar-Math, an SLM for math reasoning and problem solving
研究の要旨
Meta Description
MicrosoftがAI数学推論の新技術「rStar-Math」を発表。小規模モデルでOpenAIの最新モデルを凌駕する性能を実現。モンテカルロ木探索と段階的な自己進化により、効率的な推論能力の向上を達成。AIの新たな方向性を示す画期的な成果。
コメント