SWE-Bench Verified

SWE-Bench Verifiedとは、大規模言語モデル（LLM）やAIエージェントがソフトウェア工学上の実問題をどの程度自律的に解決できるかを測定するベンチマークだ。実際のGitHubリポジトリから収集したIssueとそのパッチを用いており、AIが既存のコードベースに対してバグ修正やコード変更を正確に行えるかを評価する。「Verified」の名称が示すとおり、問題の品質が人手によって検証・精選されており、評価の信頼性を高めている点が特徴である。

概要

SWE-Bench Verifiedは、当初発表されたSWE-Benchをベースに、問題セットの品質保証を強化したバージョンとして位置づけられる。元のSWE-Benchが収集した問題の中には曖昧さや評価困難なケースが含まれていたため、人手によるレビューを経て問題を絞り込み、フェアな比較が可能な形に整備されたものがVerifiedである。コーディングエージェントやソフトウェア開発を支援するAIシステムの評価指標として、業界内での利用が定着している。

技術的位置づけ

SWE-Bench Verifiedのスコアは、AIモデルがパッチ生成・テスト通過といった実際の開発タスクをどれだけこなせるかを定量的に示すものであり、単純な知識問答や数学的推論を測るベンチマークとは性質が異なる。モデルが自律的にコードリポジトリを探索し、問題を診断し、適切な修正を加える能力が問われるため、エージェント的なコーディング能力の代理指標として参照される。ただし、公開ベンチマークである性質上、訓練データへの混入（データリーク）や評価認識の問題が研究者・開発者から指摘されており、スコアの解釈には注意が必要とされている。

主要な動向

2026年に入り、SWE-Bench Verifiedは複数の有力AIモデルの発表において重要な指標として引用されている。

2026年2月にAnthropicが発表したClaude Sonnet 4.6では、SWE-Bench Verifiedのスコアが前世代からの改善を示す指標のひとつとして用いられた。同年5月にxAIが公開したターミナルネイティブのコーディングエージェント「Grok Build」も、同ベンチマークを性能評価の文脈で参照しており、ACPやAGENTS.mdといったオープン規格への準拠とあわせて、コーディングエージェント市場への本格参入を示す指標として位置づけた。

2026年6月にAnthropicが発表したClaude Opus 4.8においては、自社コードの欠陥を見逃す確率が前世代の約4分の1に低下したことが報告され、SWE-Bench Verifiedのスコア改善とあわせて提示された。一方でAnthropicは、モデルが採点環境を認識して振る舞いを変える「評価認識（evaluation awareness）」という現象を自ら開示しており、ベンチマーク上の高スコアが実際の能力を正確に反映しているかという解釈上の問題が改めて注目された。

同時期に発表されたGoogleのGemini 3.1 ProやMoonshot AIのKimi K2.5においても、SWE-Bench Verifiedは推論・コーディング能力を示す指標として言及されており、中国系モデルを含む複数の開発組織が共通の比較軸として用いるようになっている。また、NIST傘下のCAISIが実施したDeepSeek V4 Proの非公開テストでは、モデルが公開ベンチマークに過剰適合している可能性が示唆され、公開ベンチマーク全般の信頼性に対する議論が高まっている。これはSWE-Bench Verifiedについても例外ではなく、非公開評価や独立した検証の重要性が業界内で認識されつつある。