SemiAnalysisは2026年11月2日、AIエージェントの実務能力を評価する新たなベンチマーク「GDPx」を公開した。公式サイトによると、バージョン1.0は11分野・206課題で構成され、14社が開発に協力している。総合ランキングではClaude Opus 5.5が12.0で首位となり、Gemini 4 Carbonが10.9、GPT-6 Astraが9.6で続いた。
GDPxが評価するのは、必要な資料を探し、ツールを操作しながら、要求された成果物を完成させる能力だ。ただし、首位の12.0という数値を、そのまま「一般的な業務の12%を自動化できる」と解釈することはできない。評価対象の選び方や採点方法を詳しく見ると、このランキングから判断できることと、実際の導入に向けて別途検証すべきことが明らかになる。
資料の探索から成果物の完成までを評価する206課題
GDPxが対象とする11分野は、経済全体の職務を代表するように抽出されたものではない。SemiAnalysisが、今後1〜2年でAIの活用効果が大きくなると判断した領域を選んでいる。具体的には、チップ設計、金融、法律、サイバーセキュリティ、生物学、材料科学、クオンツ取引、ハードウェア設計、ソフトウェア工学などが含まれる。さらに、次世代AIモデルの開発工程をAI自身が改善する「再帰的自己改善」と、目的を達成しながら行動上の制約を守れるかを測る「アラインメント」も評価対象となっている。
SemiAnalysisは、比較対象としてOpenAIのベンチマーク「GDPval」を挙げている。同社は、短い指示と添付資料を与える形式だけでは、実務で必要となる情報収集の負荷を十分に評価できないと主張する。そこでGDPxでは、必要な情報を探し出す工程も評価に組み込んだ。ただし、これはSemiAnalysisが採用した設計方針であり、他のベンチマークの評価方法が劣っていると実証されたわけではない。
例えば金融分野では、実際の取引を基に評価環境を構築し、合計約4,000件の匿名化ファイルを用意した。各課題では、取引関係者のフォルダーに保存された資料から必要な情報を探し出すことが求められる。材料科学分野では模擬実験室を使用し、ハードウェア関連の課題ではSiemens NXやAWS FPGAなども利用するという。単に質問に回答するだけでなく、実務に近い環境で複数の作業を進める能力が試される。
各課題の標準的な制限時間は8時間で、一部にはそれより短い課題もある。これは1回の試行に認められる時間の上限であり、平均所要時間を意味するものではない。また、各モデルに専用のエージェント実行環境がある場合はClaude Code、Codex、Antigravityなどを使用し、専用環境がないモデルにはOpenCodeを使用する。そのため、評価結果にはAIモデル自体の性能だけでなく、ツールの操作や作業の進行を担う実行環境の違いも反映される。総合順位を、すべてのモデルを同一環境で比較した結果と捉えることは適切ではない。
総合首位の「12%」は何を意味するのか
GDPxの総合点を理解するには、採点と集計の仕組みを確認する必要がある。SemiAnalysisは、課題の成否を判定する合否方式と、要求事項をどこまで満たしたかを評価する部分点を併用している。また、各課題について3回の試行を行い、その結果に基づくpass@1を報告している。pass@1は1回の試行で成功する割合を評価する指標であり、3回のうち1回でも成功すればよいpass@3とは異なる。
総合点の集計では、11分野をすべて同じ重みで扱う。さらに、同一分野に複数の協力企業が参加している場合も、各企業を等しく重み付けして集計する。つまり、GDPxの総合点は各分野の経済規模や雇用者数、実際の労働時間を反映したものではない。特定の職業や産業におけるAIの経済効果を、そのまま表す指標ではないことに注意が必要だ。
以下の表は、GDPx v1.0の公式方法論と公開された総合点を基に、各測定条件から判断できることと、判断できないことを整理したものだ。新たな性能指標を計算したものでも、第三者による独立した追試の結果でもない。
| 測定条件 | 判断できること | 判断できないこと |
|---|---|---|
| 意図的に選定された11分野 | 対象分野の難しい課題に対する評価結果 | 経済全体や全職務の自動化率 |
| 分野と協力企業を等重みで集計 | 公開された集計ルールに基づく総合評価 | 市場規模や労働時間を反映した経済効果 |
| 合否方式と部分点の併用 | 課題の完遂状況と、要求事項を部分的に満たした程度 | 206課題を同一基準で採点した単純な正答率 |
| 3試行に基づくpass@1 | 1回の試行で成功する割合 | 3回試して1回でも成功すればよい場合の成績 |
| 実行環境と安全分類器の影響 | 使用環境や安全上の制約を含めた評価結果 | モデル単体の性能や、安全制約を解除した場合の順位 |
分野別の部分点がどのように計算され、総合点へ反映されているかについては、公開された説明だけでは詳細をすべて確認できない。そのため、総合点を206課題のうち何問に正解したかという単純な正答率に換算することもできない。同様に、首位の12.0という結果から「一般的な業務の88%ではAIが失敗する」と推定するのも誤りだ。GDPxが測定しているのは、あくまで選定された課題と評価条件におけるAIエージェントの能力である。
金融と法律の評価に見る、部分点と実用水準の隔たり
金融分野では、厳格な合否判定を適用すると、すべてのモデルの成功率が0%となった。そのためSemiAnalysisは、分野別の比較図に平均部分点も掲載している。ただし、成功率0%は、AIが課題のどの部分も正しく処理できなかったことを意味しない。最終成果物が合格基準を満たしたかという評価と、途中段階で要求事項をどこまで達成できたかという評価を区別する必要がある。
公開されている「Bellwood-QoE」という課題は、既存の収益品質分析用の表計算ファイルを修正するものだ。選定された25試行では、課題を完全に達成した例はなかった。しかし、最も成績の良かった試行では、11項目のチェックのうち8項目を満たしていた。なお、この25という数字は試行回数であり、206課題のうち25課題を評価したという意味ではない。
法律分野でも、厳格な合否基準では課題が難しすぎるとして、部分点が示されている。シリーズBの資金調達に伴う契約文書の修正課題では、4モデルによる合計20試行のいずれでも、実務で使用できる修正稿は完成しなかったという。失敗例には、顧客からのメールと署名済みの条件書のどちらを優先すべきか判断を誤ったケースや、複数の文書間で整合性を保てなかったケースが含まれる。
これらの結果は、文書の一部を正しく修正できることと、完成した成果物をそのまま実務に使えることが別の問題であると示している。部分点が高くても、人による確認や修正を省略できるとは限らない。特に法律文書のように、個々の記述が正確でも文書全体の整合性が崩れると問題になる業務では、最終成果物の品質が重要となる。一方、今回公開された限られた試行例から、法律業務全体におけるAIの失敗率を推定することもできない。
導入判断には分野別の性能と安全上の制約の確認が必要
SemiAnalysisによると、Claude Opus 5.5とGPT-6 Astraの総合点には、安全分類器による制約の影響が含まれている。特にサイバーセキュリティ、生物学、アラインメントの3分野で影響が大きいとされ、同社はこれらを除外した集計結果も公開している。安全上の理由で要求を拒否した場合と、能力不足によって課題を達成できなかった場合は区別する必要がある。ただし、低得点の原因がすべて安全上の拒否にあるとは限らず、制約を解除した場合の順位を推測することもできない。
また、優れた成績を収めたモデルは分野によって異なる。SemiAnalysisの評価では、Claude Opus 5.5がクオンツ取引、ハードウェア、チップ設計で優位に立った。一方、Gemini 4 Carbonは生物学とソフトウェア工学、GPT-6 Astraは再帰的自己改善と材料科学で優位だったとされる。総合順位だけでは、特定の業務にどのモデルが適しているかを判断できないことが分かる。ただし、これらはSemiAnalysisが設定した条件での評価結果であり、独立した追試によって確認された結論ではない。
Unite.AIも公開時のランキングやコスト、分野別の平均部分点を紹介しているが、独自の性能測定結果を示したものではない。実際の導入を検討する企業は、自社の業務に近い分野の評価結果と、その採点条件を詳しく確認する必要がある。また、GDPxには非公開の課題やデータが含まれているため、第三者が全206課題を同じ条件で再現できるかどうかも明らかになっていない。
実務への導入を判断するには、自社で扱う資料と実際に必要な成果物を使い、成功条件や許容できる失敗の範囲を明確にしたうえで、小規模な検証を行うことが有効だ。安全ポリシーや運用コストに加え、人による確認が必要な工程も評価に含めるべきだろう。SemiAnalysisは今後、3〜6カ月ごとにGDPxの新バージョンを公開する計画だ。今後は総合点の伸びだけでなく、実際の業務に近い課題でAIエージェントがどこまで成果物を完成させられるようになるかが、実用性を判断する重要な材料となる。
