Meta AIと米イリノイ大学アーバナ・シャンペーン校（UIUC）の研究チームが、外部ハーネスの利用判断まで訓練する「EvoHarness-RL」を発表した。AIエージェントは、現在の状態を記録し、終えた作業を覚え、過去の失敗を次の試行へ渡す実行基盤に支えられている。ところが、その基盤をいつ参照し、いつ書き換えるかは、人間がプロンプトや固定ルールで決めてきた。
2026年8月5日にarXivへ公開したプレプリントによると、Qwen3-8Bを使い、ALFWorldで分布内検証に当たるseen 140課題の平均成功率96.9%を記録した。通常のReAct構成は47.9%だったため、差は49.0パーセントポイントに達する。
ただし、これはテキストで家庭内作業をこなす一つのベンチマークでの結果である。大きな数字とともに注目したいのは、エージェントと外部ハーネスの分業を、手書きの規則から学習可能な方策へ移した点だ。
外部ハーネスを4つの行動に畳み込む
論文がいう「ハーネス」は、モデルの外側で実行を支える仕組みの総称である。ツールやメモリに加え、状態追跡と実行ログもここに含まれる。検証結果をモデルへ戻す経路もハーネスの一部だ。EvoHarness-RLは、環境ごとに異なるこれらの機能を、Belief、Progress、Experienceの3領域（BPE）へ整理した。
Beliefは、物体の場所や状態など「現在の環境で何が真か」を保つ。Progressは、完了、未完了、停止中のサブゴールを記録する。Experienceには、別の試行でも再利用できる手順、よくある失敗、探索の優先順位を蓄える。
方策モデルはBPEを無条件に読み込むのではなく、4つのメタアクションを選ぶ。trackはBeliefを照会し、commitはProgressへ作業状況を書く。recallはExperienceから関連知識を検索し、noteは後で統合する新しい知見を残す。通常の環境操作とハーネス操作は同じ行動候補に並び、どちらも1ステップを消費する。
この設計によって、外部状態へのアクセスには機会費用が生じる。毎回メモリを検索すれば安全になるとは限らず、その分だけ本来の作業が遅れる。逆に参照を省きすぎれば、状態を見失い、同じ探索を繰り返す。EvoHarness-RLが学ぶのは、この境界である。
ALFWorld向けの実装は意外に簡素だ。Beliefは行動と観測を読むルールベースのparserで更新し、Experienceはキーワードの重複で検索する。Progressは最大8件のサブゴールを保持し、Experienceは4カテゴリそれぞれ最大80件に制限する。使用頻度が低い項目はLFU方式で退避させる。BPEは汎用的な役割分担だが、その中身まで汎用モデルに任せたわけではない。
SFTで操作を教え、GRPOで使いどきを絞る
学習は2段階に分かれる。最初の教師あり微調整（SFT）では、Claude Opusを教師として500件のALFWorld訓練ゲームを実行し、成功した87軌跡を残した。ここから1,153件の次行動会話ペアを作り、Qwen3-8Bに環境操作と4つのメタアクションの形式を教えた。
採用した軌跡は1エピソード平均26.5ターンで、教師は計405回ハーネスを呼び出した。全ターンの約18%に当たる。SFTは、まず外部状態を丁寧に使う足場を与える工程だ。
次のGRPOでは、成功報酬を中心に、短い手順への加点、行動の多様性、反復や形式違反への減点を組み合わせた。課題を解かなければ効率加点は得られないため、単にハーネス呼び出しを削るだけでは報酬が伸びない。訓練は150 epoch、1回のエピソードは最大70ステップで、NVIDIA H200を8基使った。
ここで更新される方策も、実行時にALFWorldとやり取りするモデルもQwen3-8Bである。一方、Claude OpusはSFTの教師に加え、各epochの境目でExperienceを統合する役割も担った。したがって「8Bモデルだけで完結した」と捉えるのは正確ではない。実行方策は8Bだが、訓練データと経験ストアの整備には大型モデルが入っている。
47.9%から96.9%、未見課題では86.6%
seen 140課題の平均成功率は、通常のQwen3-8B ReActが47.9%、プロンプト時にBPEを足しただけのEvoHarness-Baseが56.4%だった。SFT後は68.6%へ上がり、GRPOを終えたEvoHarness-RLは96.9%に達した。
| Qwen3-8Bの構成 | ALFWorld seen（分布内検証）平均成功率 |
|---|---|
| ReAct | 47.9% |
| EvoHarness-Base（推論時BPE） | 56.4% |
| EvoHarness-SFT | 68.6% |
| EvoHarness-RL | 96.9% |
論文内の比較では、訓練可能な既存手法のSkillOSが80.2%、SkillRLが89.9%だった。ただし、表には著者らが実行した値と既存論文から引用した値が混在する。SkillRLは別のQwen系基盤モデルを使っており、計算資源やハーネス条件まで揃えた同条件比較ではない。
ALFWorld公式リポジトリは、valid_seenを分布内、valid_unseenを分布外の検証用データとして区別している。収録数はseenが140件、unseenが134件だ。分布外のunseenでは、ReActの50.0%に対してEvoHarness-RLは86.6%だった。推論時BPEだけでも77.6%に達した一方、SFTのみでは69.4%に下がっている。著者らは、SFTがseen軌跡にある教師のハーネス利用を模倣し、分布外でアクセスが割に合うかを最適化していない可能性を挙げる。GRPO後の改善はこの説明と整合するが、方策全体を更新するため、アクセス判断だけの効果を分離した数字ではない。
BPEの各要素を外す実験は、凍結モデルの推論時ハーネスで各領域が果たす役割を測っている。凍結したQwen3-8Bの推論時構成で、全BPEは56.4%だったが、Beliefなしは50.0%、Progressなしは50.7%、Experienceなしは48.6%まで落ちた。少なくともこの環境では、単一のメモリ機能ではなく、現在、途中経過、過去の3種類を分けて持つことに意味がある。
頻繁な外部参照は、約1回の選択的アクセスへ変わった
訓練中、ハーネスの利用回数は成功率と同じ方向には動かなかった。GRPOの初期にはBPEを頻繁に使っていたが、訓練が進むと急減し、1エピソード当たり約1回で安定した。定型的な使い方を方策が内部化し、外部状態が必要な場面だけ参照するようになったと研究チームは解釈し、これを「harness annealing」と呼ぶ。
4アクションは一様には減らない。過去の探索手順を取り出すrecallは比較的残り、commitとnoteはほぼゼロへ近づいた。trackはその中間である。論文は、ALFWorldでは家庭内の手順と物体探索の事前知識を再利用しやすいため、Experienceが価値を持つと説明する。視覚環境ならBelief、ソフトウェア開発ならProgressの重要度が増える可能性はあるが、論文はそこをまだ試していない。
Experience側も固定ではない。訓練初期には一般手順と課題別手順が増え、失敗例や探索優先度も蓄積した。その後は重複を統合し、使わない項目を捨て、よく参照する項目を残した。著者らはこの変化を「harness evolution」と呼ぶ。方策は「いつ使うか」を変え、外部ストアは「何を返すか」を変える。両者を同じ訓練ループで動かしたことが、EvoHarness-RLの核である。
次の評価は、家庭内テキスト環境の外にある
96.9%は強い数字だが、現実の長時間業務で96.9%の信頼性を得たわけではない。ALFWorldはテキスト命令で物体を探し、洗い、加熱し、所定の場所へ置く環境である。ソフトウェアリポジトリの依存関係、Web画面の変化、権限を伴う企業システムでは、状態の種類も失敗の代償も違う。
論文本文には、主要結果の信頼区間や複数seedの分散が示されておらず、原作者の公開コードへのリンクも見当たらない。Experienceの統合にはClaude Opusを使っているため、再現時にはQwen3-8Bの学習に加え、教師と統合モデルの挙動も合わせる必要がある。
それでも、外部メモリを「大きくする」競争に別の判断軸を加えた点は明確だ。長時間エージェントは記録を持ち、どの状態を外へ出すかを決める必要がある。限られた行動予算の中で、いつ読み戻すかも訓練できる。次に確認すべきなのは、BPEという役割分担が他分野でも機能するかだ。各分野に合う状態表現を作った後、外部アクセスを減らしながら成功率も伸ばせるかが、汎用性を測る条件になる。
