OpenAIが、AIの推論能力を飛躍的に向上させる秘密プロジェクト「Strawberry」の存在が明らかになった。Reutersが入手した内部文書によると、このAIは複雑な数学問題を解決し、自律的にWebを探索できる可能性があるとのことで、AIの次世代モデルにおける重要なマイルストーンとなる可能性がありそうだ。
OpenAIはAGI実現への道を確実に進んでいる
Reutersが手に入れたというOpenAIの内部文書に基づき報じた内容によると、OpenAIは、コードネーム「Strawberry」（以前は「Q*」または「Q-Star」として知られていた）と呼ばれる新しいAI技術の開発に取り組んでいるとのことだ。この文書によると、このプロジェクトの目標は、同社のAIモデルの推論能力を大幅に向上させることにあるという。
OpenAIの目標は、汎用人工知能の実現にあり、先日その実現に向けた、5つの段階を設定し、社内で共有していることを明らかにしたが、その際に同社は間もなく第2段階となる「推論者」のレベルに到達するAIの開発に成功すると述べていた。これはまさにStrawberryの成果を示唆する物と言えるだろう。
Strawberryの主な特徴として、自律的Web検索能力が挙げられる。このモデルは独自にWeb上を探索し、複雑なタスクを計画・実行する能力を持つことが期待されている。これは「ディープリサーチ」と呼ばれる技術によって可能になるとされている。
また、Strawberryは高度な数学能力を有していることが報告されている。内部テストでは、数学オリンピックレベルの問題を含むMATHベンチマークで90%以上のスコアを達成したという。
MATH（Mathematics Aptitude Test of Heuristics）データセットは、複雑な数学的問題を解くAIシステムの性能を測定するベンチマークである。 高校生や大学生を対象とした数学コンテストの問題が含まれている。 比較のため、オリジナルのGPT-4のスコアは約53パーセントであったのに対し、GPT-4oは76.6パーセントを達成している。 90パーセント以上のスコアは、テストされたAIがこれらの難問のほとんどを正しく解くことができたことを示している。 これは、問題が単に記憶されたものでないならば、システムが高度な数学的スキル、場合によっては推論スキルを備えていることを示す指標となる。
また、内部関係者によればStrawberryの開発には、特殊な「ポストトレーニング」手法が用いられているという。これは、事前トレーニング済みのモデルを特定のタスクに適応させる手法であり、「ディープリサーチ」データセットが関与しているとされる。ただし、この手法の詳細は極秘とされている。
さらに、OpenAIはStrawberryを使って複雑なタスクを長期間にわたって計画・実行する能力（長期的視野のタスク、LHT）の向上を目指している。このプロセスでは、Strawberryの結果に基づいて独自にアクションを実行できるコンピュータ制御エージェント（CUA）がAIシステムをサポートするとのことだ。
これは、まず論理的に推論し、それから行動を起こすAIエージェントが次のレベルの技術になるというOpenAIのビジョンに沿ったものだ。Reutersによると、Strawberryはソフトウェアや機械学習エンジニアの仕事を引き継ぐために特別にテストされているという。
Strawberryの開発アプローチは、スタンフォード大学の研究者らが導入した「Self-Taught Reasoner（STaR）」と呼ばれる手法に類似しているとされる。STaRは、AIシステムに行間を読む能力を教え、論理的推論能力を向上させることを目的としている。
専門家は、Q*/Strawberryは大規模な言語モデルと計画アルゴリズムを組み合わせたもので、チェスプログラムやポーカーAIに似ていると考えている。 強化学習と応用時の計算時間も重要な役割を果たすと思われ、Quiet-STaRとの類似点と呼応している。
3月に発表されたSTaRの発展型であるQuiet-STaRは、言語モデルを訓練し、テキスト内の各ポイントで継続の可能性のある理由を生成する。試行錯誤を通じて、AIはどの考察が最良の結果をもたらすかを学習する。 システムが推論できる時間が長ければ長いほど、結果は良くなる。 Quiet-STaRは “Q*”と略されることもある。
Reutersの取材に応じたAIの研究者らは、AIの文脈における推論とは、AIが前もって計画を立て、物理的な世界がどのように機能するかを反映し、困難な複数ステップの問題を確実に処理することを可能にするモデルの形成を含むという点で、概ね同意している。 AIモデルの推論を改善することは、科学的な大発見から新しいソフトウェア・アプリケーションの計画や構築まで、あらゆることを行うモデルの能力を引き出す鍵になると考えられている。
OpenAIのCEOであるSam Altman氏も、AIにおいて「最も重要な進歩の分野は推論能力に関するものになるでしょう」と述べており、Strawberryプロジェクトはこのビジョンを実現するための重要な一歩となる可能性がある。
OpenAIの広報担当者は、「私たちは、AIモデルが私たちのように世界を見て理解できるようになることを望んでいます。新しいAI機能の継続的な研究は業界での一般的な慣行であり、これらのシステムが時間とともに推論能力を向上させるという共通の信念があります」とコメントしている。
Strawberryの開発範囲はまだ不明だ。 しかし、StrawberryやQuiet-STaRのようなプロジェクトが、理解力と推論能力を強化した次世代のAIシステムを実現するためのものであることは明白だろう。GoogleやMeta等、Microsoft等のAI研究所もAIモデルの推論能力を改善するためにさまざまな手法を実験しているようだ。
Source
コメント