AIモデルの性能計測を手がける英米の評価機関Artificial Analysisは2026年9月4日、主要フロンティアモデルの総合評価尺度である「Intelligence Index」をバージョン4.2へ改訂した。2026年9月3日に登場したOpenAIの最新フロンティアモデル「GPT-6 Astra」が旧指標のv4.1で前世代モデルと同点と判定され、他機関の実測や自社評価との乖離から疑問視されたことを受け、開発中の次期メジャー版から先行要素を前倒しで投入した。新指標では実務ナレッジワークや大量文書推論が新設され、Astraは前世代比で4ポイント差の単独2位へ浮上した。評価機関が直面する既存ベンチマークの飽和と過学習への懸念は、最先端AIの何を照らし出し、どこに新たな課題を突きつけているのか。
新設指標が映したAstraの4pt差と横並び評価の修正
評価の修正をもたらした発端は、2026年9月3日に公開されたGPT-6 Astraに対する初期測定値の食い違いにあった。AI研究機関のEpoch AIによる評価では、Astraは50以上のベンチマークを横断して267モデル中首位となる169ポイントを獲得していた。さらに抽象推論ベンチマークのARC-AGI-3でも大幅なスコアの上昇を記録し、OpenAI自身の公表値でも前世代モデル「GPT-5.6 Sol」を明瞭に引き離していた。
ところが、実務環境での参照頻度が高いArtificial AnalysisのIntelligence Index v4.1において、AstraはSolとほぼ同等の約51ポイントにとどまる結果となった。難関ベンチマークの進展が総合指標へ反映されない測定結果は、開発者や研究者の間で指標の妥当性に対する疑問を生んだ。既存の測定項目群がフロンティアモデルの進化を弁別する能力を失っているのではないかという懸念である。
Artificial Analysisは翌9月4日、即座にバージョン4.2への暫定改訂を発表した。本来は2026年1月のv4公開から8か月間にわたり開発を続けてきた「Index v5」の要素から、エージェント評価と文書解析を先行して切り出し、前倒しで指標へ組み込んだ。
改訂後のIntelligence Index v4.2において、最大推論強度（max effort）を設定したGPT-6 Astraは総合55ポイントを獲得した。同じく最大設定のGPT-5.6 Sol（51ポイント）に対して4ポイントの差をつけ、単独2位へ浮上した。総合首位はAnthropicの「Claude Fable 5.1」が維持し、3位にMetaが続き、その背後にSpaceXAI、Moonshot AIのKimi、Zhipu AI（Z.AI）、Googleが並ぶ序列が確定した。
| モデル名 | 開発元 | 推論強度 | v4.2総合スコア | 前世代との比較 |
|---|---|---|---|---|
| Claude Fable 5.1 | Anthropic | Max / Adaptive | 首位維持 | フロンティア首位 |
| GPT-6 Astra | OpenAI | Max | 55 pt | Sol比 +4 pt |
| GPT-6 Astra | OpenAI | Medium | 52 pt | Sol（Max）を1 pt超過 |
| GPT-5.6 Sol | OpenAI | Max | 51 pt | 基準値 |
改訂前の横並び判定は、モデルの性能が停滞していたためではなく、評価枠組み側の解像度不足に起因していた事実が数値の変動によって裏づけられた。
GPQA飽和と非公開40%化が促すベンチマーク刷新
Intelligence Index v4.2における最大の変更点は、ベンチマーク構成の抜本的な入れ替えと、非公開テストセットの比率引き上げにある。
象徴的な措置が、専門家レベルの科学推論を測る代表格だった「GPQA Diamond」の除外である。フロンティアモデルの正答率が上限付近に張り付く「飽和」に達し、モデル間の優劣を測る尺度として機能しなくなったためだ。かつては最難関とされた試験問題であっても、モデル群の学習が進めば識別力を失うという、現代のAIベンチマークが抱える構造的課題を浮き彫りにした。
これに代わり、新たに2つの高負荷ベンチマークが導入された。
1つ目は、Artificial Analysis自社開発の「AA-Briefcase」（重み15%）である。業界の専門家が設計した数週間に及ぶ実務ナレッジワークを模したプロジェクトを対象とし、数千件の入力ソースファイルと複雑に連動した複数のタスクを自律的に遂行させる。検証可能な成果物の正誤に加え、分析の深さや提示品質をルーブリック評価とペアワイズ判定で採点する。このタスクにおいてAstraはSolに対して約85 Eloポイントの上昇を示し、Claude Fable 5.1やClaude Opus 5に迫る水準を記録した。
2つ目は、Surge AIが開発した長文文書推論ベンチマーク「GDP.pdf」（重み10%）の採用である。10領域に及ぶ100件の専門PDF文書、計4,592ページに分散したテキストや図表、脚注や除外条項を横断し、単一ターンで証拠を統合する能力を測る。専門家が作成した1,275件のアトミック基準すべてを満たした場合にのみ正解とみなす「全基準合格率（All-pass Rate）」を主指標に据える。この極めて厳格な試験において、GPT-6 Astraは33.2%の通過率を記録してトップに立ち、Solの28.2%やClaude Fable 5.1の26.2%を上回った。
さらに重要な設計変更として、評価データ全体に占める非公開テストセットの比率が、従来の20%から40%へと倍増された。AA-Briefcaseや知識評価のAA-Omniscience、物理推論CritPtの解答群が非公開データとして保護される。テストデータが公開されている場合、開発企業がそれを事前学習や事後調整用データへ意図的・非意図的に混入させるベンチマーク対策（ゲーミング）を排除できない。評価の信頼性を保つ要件として、非公開資産の確保が必須条件になりつつある。
加えて、評価インフラの精度向上も実施された。長文推論AA-LCR v1.1では採点用プロンプトの追加と解答データの曖昧さ修正を行い、コード生成SciCode v1.0.1では実行速度の遅い正答コードが誤って失格判定される問題を排除するサンドボックス環境の強化が行われた。
単価2.5倍を相殺する出力トークン効率の経済性
性能測定の進展と並行して、今回の改訂はAIモデルの調達コストに対する見方に大きな変化を迫っている。
OpenAIが公表したAPI価格において、GPT-6 Astraは入力100万トークンあたり10ドル、出力100万トークンあたり50ドルに設定された。前世代であるGPT-5.6 Solの価格（入力4ドル、出力20ドル）と比較すると、額面上の単価は約2.5倍に跳ね上がっている。一見すると大幅なコスト増に映るが、Artificial Analysisの実測データは異なる実態を示した。
Astraはフロンティア帯のほぼすべての競合モデルと比較して、同一タスクを完遂するために消費する出力トークン数が著しく少ない。過剰な思考の空転や冗長な出力を抑え、少ないステップで解答へ到達する「出力トークン効率」の高さが確認された。
このトークン消費の圧縮により、タスクあたりの実効コストを縦軸、知能スコアを横軸に取った「パレート境界」において、OpenAIはAnthropic、Meta、Z.AIと並んで最前列の一角を占め続けている。出力トークン単価が2.5倍であっても、必要なトークン数が半分以下に減れば、最終的な請求額は旧世代と同等かそれ以下に収まる計算が成り立つためだ。
さらに、推論の強度調整が実務上の柔軟性をもたらしている。推論強度を「medium」に設定したGPT-6 Astraは、知能指数で52ポイントを記録した。これは最大強度で動作させた前世代Solの51ポイントを上回りながら、トークン消費の抑制によってタスクあたりのコストをSolよりも低く抑えられる。企業がシステムへ組み込む際、単価の比較だけで判断せず、タスク完遂までの総消費量で費用対効果を評価すべき段階に入った。
合格率33.2%に見る長文推論の壁と次期v5への過渡期
Intelligence Index v4.2によってGPT-6 Astraの強みと位置付けは整理されたものの、同時にフロンティアAIが抱える限界も露わになった。
GDP.pdfにおいて首位を獲得したAstraであっても、全基準合格率は33.2%にとどまっている。4,592ページに及ぶ専門文書の精読において、3回に2回は基準を満たせないエラーが発生している計算になる。法務、財務、エンジニアリングなどの高度専門職が扱う実務資料に対し、単一プロンプトで完全な整合性を保証できる段階には達していない。
また、指標自体の構成にも過渡期の性格が残る。非公開テストセットの比率を40%に引き上げたとはいえ、残る60%の項目は公開または準公開のデータセットに依存している。各社の学習技術が高度化する中、部分的な非公開化だけでゲーミングの余地を完全に塞ぎ込めるわけではない。
Artificial Analysisは、今回のv4.2を「フロンティアモデルの急速な進化に対応するための暫定リリース」と明言している。8か月にわたり開発してきたメジャー改訂「Index v5」は今後、複数の段階に分けて順次展開される予定である。次期版では非公開テストの比率がさらに引き上げられ、エージェントの長期運用や複数ツールの連動を測る新たなテストケースが本格導入される。
ベンチマークの改訂劇が物語るのは、静的な試験問題を解く能力の競争が終わり、膨大な実資料を扱える実用性と、出力効率を含む経済性の総合競争へ主戦場が移った現実である。企業や開発者にとって次の確認点は、v5の段階的展開によって長文推論の不確実性がどこまで縮小するか、そして自社の業務ワークフローにおいてトークン効率がコスト削減として実体化するかどうかになる。
