OpenAIは2026年7月8日、AIコーディングエージェントの主要評価指標「SWE-Bench Pro」を監査し、公開課題の約30%が壊れていると推定した。正しく動くコードを不合格にするテストがある一方、不完全な修正を合格させる課題も見つかった。同社は2月、欠陥と学習データ汚染が深刻になったSWE-bench VerifiedからProへの移行を業界に勧めたばかりだった。5カ月足らずで撤回に至った事実は、モデルの点数を比べる前に、採点器そのものを継続監査する必要を突きつけている。
2月の推奨から7月の撤回へ
SWE-Bench Proは、実在するソフトウェアリポジトリの変更履歴から課題を作り、AIエージェントが問題文を読んでコードを修正できるかを測る。Scale AIが2025年9月に公開した説明では、全1,865課題のうち公開が731件、非公開が858件、商用コード由来が276件だった。41のリポジトリを対象とし、1課題あたりの変更は平均107.4行、4.1ファイルに及ぶ。短い関数問題より、現場の開発に近い長期作業を測ろうとした評価である。
OpenAIが2026年2月にSWE-bench Verifiedの利用中止を勧めた際、移行先に挙げたのがこのProだった。Verifiedでは、OpenAI o3が安定して解けなかった138件を調べると59.4%に重大な問題があり、公開済みの問題と修正コードをモデルが学習していた兆候も確認された。対してProは複数言語と長い作業を含み、汚染にも強いと期待されていた。
ところが、Proの公開731課題で最先端モデルの合格率は8カ月の間に23.3%から80.3%へ上昇した。OpenAIは、この伸びのどこまでが能力向上で、どこからが課題の欠陥に由来するのかを調べた。結論は、評価結果をそのまま能力の伸びとして扱えないというものだった。同社はPro採用の推奨を取り下げ、特定の後継ベンチマークも示していない。
1文字の空白で正解が不合格になる
監査で見つかった欠陥は四つに分かれる。一つは過度に厳しいテストで、問題文が指定していない実装方法まで要求し、機能上は正しい修正を落とす。もう一つは要件不足の問題文で、受験するモデルから見えないテストにだけ条件を埋め込む。低カバレッジのテストも見つかった。要求された機能を十分に検査せず、不完全なコードを通してしまう。さらに、問題文がテストと逆の動作へモデルを誘導する例もあった。
OpenLibraryから採られた課題では、Markdownの目次項目を出力する際、縦線の前に半角スペースを1個置くよう問題文が例示していた。しかし非公開テストが要求したのは2個だった。モデルが指示を一字ずつ守るほど不合格になる。ここでは、コード修正能力ではなく、見えない正解を偶然当てる力が測られてしまう。
逆方向の誤差も厄介だ。テスト範囲が浅ければ、必要な機能を実装し切っていないエージェントにも点が入る。正しい修正を落とす課題は能力を過小評価し、甘いテストは過大評価する。両者が同じベンチマークに混在すると、総合点から誤差の向きも大きさも読み取れない。約30%という監査結果を、全モデルへ一律に差し引く補正値としては使えないのである。
27.4%と34.1%が一致しない理由
OpenAIはまず、問題文からモデルの試行、採点テスト、失敗ログまでを調べる自動フィルターで286件を抽出した。続いてCodexベースの調査エージェントにリポジトリと実行環境を与え、テスト実行や周辺コードの確認を含む監査を複数回行った。最後は研究者が要約と証拠を読み、200件、全731件の27.4%を壊れた課題と判定した。
並行して、経験あるソフトウェアエンジニア5人が同じ要調査課題を独立に確認した。こちらは249件、全体の34.1%を問題ありとした。二つの数字は別々の母集団ではないため、合算してはならない。同じ候補群を異なる手順で調べた結果であり、人間の方が厳しく判定した。
それでも両者は大枠で一致している。調査エージェントが付けた欠陥カテゴリと人間の判断は74%で重なった。差が最も大きかった低カバレッジテストは、人間が全体の9.4%で主要問題としたのに対し、エージェント側は4.1%だった。エージェントは大量の課題を絞り込めるが、仕様を満たしたと呼べる範囲の判断では人間の方が複数の欠陥を拾っている。今回の監査は、AIによる品質検査が人手を置き換えた例ではなく、人間が深く読むべき箇所をAIが広く探した例と見るべきだ。
順位表より先に採点器を監査する
SWE系評価の現実味と不安定さは、同じ源から生じる。GitHubのIssue、コミット、テストは人間同士が背景知識を共有しながら開発するために書かれた。長いやり取りを含む変更履歴から問題文と非公開テストを切り出せば、実務に近い作業を再現できる。ただし、元の開発者が暗黙に了解していた条件や、特定の実装を確かめるためのテストまで試験問題へ持ち込まれる。
外部の評価機関はすでに測り方を変え始めている。Artificial Analysisは2026年6月、Coding Agent IndexからSWE-Bench-Pro-Hard-AAを外し、DeepSWEへ入れ替えた。現行指数はDeepSWEの113件、Terminal-Bench v2の84件、リポジトリ理解を問うSWE-Atlas-QnAの124件、計321件を単純平均する。同社自身も、近い総合点のエージェントが課題別には異なる強みを持つため、内訳と併読するよう求めている。
企業がコーディングエージェントを選ぶ際も、公開順位を製品選定の結論にするのは危うい。採用候補を同じモデル、同じ実行環境、同じ予算で走らせ、自社のIssueと受け入れテストで再評価する必要がある。そのテストも、正しい別実装を落としていないか、要求の一部しか満たさない修正を通していないかを人間が点検しなければならない。
OpenAIは、経験ある開発者が最初から能力評価用に作る新しいベンチマークを業界に求めた。次の指標が信頼を得る条件は、難問を増やすことではない。公開前に誰が問題文と採点器を別々に検証したか、公開後にどの頻度で再監査するか、欠陥が見つかったとき過去の点数をどう扱うかまで示せるかにかかっている。