AIモデルの性能評価を手がけるArtificial Analysisは2026年10月27日、総合評価指標「Intelligence Index v5」を発表した。今回の改訂では、非公開のテスト問題、または正答が公開されていない問題を使用する評価の配点比率を60％に引き上げた。これは全問題数の60％が非公開という意味ではなく、総合スコアを算出する際の重み付けを指している。また、評価問題や正答が非公開であることと、AIモデルの学習済みパラメーター（重み）が公開されているかどうかは別の問題だ。評価対象となる作業や採点方法も変更されたため、モデル間の点差を正しく理解するには、モデルの重みの公開状態に加え、用途や推論設定にも注意する必要がある。
非公開評価を60％に拡大、科学とコード開発の新課題を追加
Intelligence Index v5では、新たに「FrontierCode 2.0」と「Terminal-Bench-Science」が導入され、それぞれ総合スコアの15％を占める。評価体系は知識業務、コード作成、科学、一般能力の4領域からなり、各領域に25％ずつ配点する。合計9種類のベンチマークを組み合わせた構成だ。2026年1月に公開されたv4と比較すると、新設された評価が2件、更新された評価が3件、継続された評価が4件となり、従来使用されていたGDPval-AA v2.1、SciCode、AA-LCR v1.1は対象から外れた。
ただし、新たに加わった科学分野の評価まで、すべて非公開になったわけではない。Artificial Analysisの公式評価方法で、非公開の問題または正答を使用するものとして「Private」列に指定されているのは、以下の5種類だ。
| 領域 | Private列で該当する評価 | 総合点での重み |
|---|---|---|
| 知識業務 | AA-Briefcase | 15％ |
| 知識業務 | AutomationBench-AA | 5％ |
| コード作成 | FrontierCode 2.0 | 15％ |
| 科学 | CritPt v2の難問 | 10％ |
| 一般能力 | AA-Omniscience v1.1 | 15％ |
| 合計 | 5評価 | 60％ |
5種類の配点を合計すると、15＋5＋15＋10＋15で60％となる。一方、新設されたTerminal-Bench-ScienceやTerminal-Bench 4.0は、公式方法論のPrivate列では非公開扱いになっていない。GDP.pdfとHLE-Diamondも同様だ。科学領域に割り当てられた25％のうち、非公開評価に該当するのはCritPt v2の10％であり、残る15％を占めるTerminal-Bench-Scienceは該当しない。したがって、総合スコアの60％という数字と、個々のベンチマークが公開されているかどうかは区別して理解する必要がある。
新設されたFrontierCode 2.0は、AIが作成したコードの変更が実際の開発プロジェクトに取り込める品質に達しているかを評価する。132件の課題を用意し、それぞれ3回ずつ実行する仕組みだ。モデルがツールを操作しながら作業するエージェント実行環境には「Stirrup」を採用している。採点では、課題ごとのテストと評価基準表を使用し、LLMによる判定にはGPT-6 Lunaのmedium設定を用いる。すべての変更を人間が直接採点するわけではなく、必須条件を満たさなかった場合や、モデルが正答を探そうとする行為を検知した場合は0点とし、それ以外は評価項目ごとの重み付けに従って得点を算出する。
もう一つの新設評価であるTerminal-Bench-Scienceは、科学研究に関わる実践的な作業を対象とする。70件の課題を「mini-swe-agent」でそれぞれ3回実行し、1回の試行で成功する確率を表す「pass@1」を平均して評価する。成功と判定されるにはすべてのテストに合格する必要があり、採点環境はモデルが実際に作業する環境から分離されている。また、操作回数には1,000手という上限が設けられている。
Terminal-Bench-Science開発チームの説明によると、対象分野は生命科学、物理学、地球科学、数学、工学に及ぶ。単に質問に正しく答えるだけでなく、データ分析やシミュレーション、数学的証明、コードの作成など、実際の作業で得られた成果物を個別のテストによって検証する。なお、開発チームが2026年8月27日に公開した初期結果と、Artificial Analysisが10月に発表した結果は、異なる実装による測定であり、同一条件の結果として直接比較できるものではない。
既存の評価にも、難易度や測定精度を維持するための変更が加えられた。HLE-Diamondは推論問題500問と知識問題500問の計1,000問に更新された。CritPt v2では、従来の70問のうち、7モデルがいずれも5回の試行ですべて正解した30問を除外し、難度の高い40問に絞っている。AA-Omniscienceについても、得点が飽和した問題や公開済みの問題を除き、曖昧な設問や誤りを修正した。つまり、v5で得られたスコアにはモデルの能力だけでなく、評価問題そのものを変更した影響も含まれている。
首位との差は12点か26点か、モデルの重み公開状況で変わる
Artificial Analysisが10月27日に公開したv5の発表記事によると、発表時点の首位はClaude Opus 5.5のmax設定で、総合スコアは58点だった。これにGPT-6 Astraのmax設定が57点、GPT-6.1 Solのmax設定が55点で続き、Gemini 4 Argonのhigh設定は50点となった。一方、Kimi K3.1 Proは46点を記録したものの、この時点ではモデルの重みが公開されていなかった。
発表時点の首位である58点を基準にすると、Kimi K3.1 Proとの差は12点となる。しかし、モデルの重みが公開されているDeepSeek V4.1 Flash 1017とGLM-5.3はいずれも32点で、首位との差は26点に広がる。
| 比較対象 | 10月27日時点のモデルの重み | v5得点 | 首位58点との差 |
|---|---|---|---|
| Kimi K3.1 Pro | 未公開 | 46 | 12 |
| DeepSeek V4.1 Flash 1017（max） | 公開済み | 32 | 26 |
| GLM-5.3（max） | 公開済み | 32 | 26 |
この表は、10月27日の発表時点における同じ総合指数を用い、首位の58点から各モデルのスコアを差し引いたものだ。Opus、DeepSeek、GLMにはmax設定を使用し、Kimiには発表時の設定をそのまま用いている。また、ここでいう「公開済み」はモデルの重みが公開されていることを意味し、オープンソースライセンスの条件を比較しているわけではない。上位モデルとの差を12点とするか26点とするかは、比較するモデルの公開状態をどのように定義するかによって変わる。
ただし、総合スコアの差が、あらゆる用途で同じ性能差を意味するわけではない。例えばTerminal-Bench-Scienceの成功率は、GPT-6 Astraが63％、Claude Opus 5.5が59％、GPT-6.1 Solが58％だった。一方、Kimi K3.1 Proは34％、重み公開済みのDeepSeekは13％にとどまっている。しかし、Terminal-Bench 4.0ではKimiが67％を記録して首位に立った。10月27日時点で9種類すべての評価を制したモデルは存在せず、これら個別ベンチマークの成功率は、総合指数の点数とは異なる指標である。
さらに、総合順位は発表の翌日にも変動した。Artificial Analysisが10月28日に発表した結果では、Gemini 4 Carbonのhigh設定が59点を記録し、新たな首位となった。ただし、同モデルは選ばれたユーザー向けに展開されている段階で、一般には利用できない。先ほどの表で示した点差は10月27日の首位58点を基準としたものであり、10月28日に更新された首位モデルとの比較ではない。
Kimiと首位モデルの点差は、旧版のv4.3では3点だったが、v5では12点に拡大した。しかし、評価項目や難易度が変更されているため、この差をそのままモデルの性能低下と解釈することはできない。同様に、学習データへの評価問題の混入や不正行為、強化学習基盤の優劣を、この順位だけから断定することもできない。また、9点という差が能力の比率や統計的に有意な差を表しているわけでもない。実際にモデルを選ぶ際には、総合順位だけでなく、対象業務に近い評価結果と実行条件を確認する必要がある。
同じモデルでも推論設定によって得点と費用が大きく変わる
AIモデルの性能を比較するうえでは、モデル名だけでなく、推論に割り当てる計算量の設定も重要になる。例えばClaude Opus 5.5は、low設定では35点、1課題当たりの費用は0.98ドルだった。これに対し、max設定では58点まで上昇する一方、費用も10.04ドルに増えている。つまり、同じモデルでも推論設定によって総合スコアに23点の差が生まれ、費用は約10倍になった。モデル名だけを指定しても、実際に利用できる性能やコストは決まらない。
10月27日の発表時点における上位3モデルの得点と費用は、以下の通りだ。
| モデルと推論設定 | v5得点 | 1課題当たりの費用 |
|---|---|---|
| Claude Opus 5.5（max） | 58 | 10.04ドル |
| GPT-6 Astra（max） | 57 | 6.24ドル |
| GPT-6.1 Sol（max） | 55 | 1.27ドル |
Opus 5.5とSolの総合スコアの差はわずか3点だが、1課題当たりの費用はそれぞれ10.04ドルと1.27ドルで、大きな開きがある。性能が近いモデルでも、同じ予算で処理できる作業量は異なる可能性がある。また、上位10件のモデルをみると、最も安いTerraのmax設定は1課題当たり0.96ドル、最も高いFable 5.1のmax設定は13.04ドルで、費用には13倍以上の差があった。これは両モデルが同じ得点だったという意味ではなく、上位に位置するモデルの間でも費用が大きく異なることを示している。
今回の評価では、モデルが出力するトークン数も増加した。出力トークン数の中央値は従来の35,000から59,000へ増えている。特に4種類のエージェント型評価は、総合スコアに占める配点比率が55％である一方、出力トークン数の中央値では全体の約90％を占める。長時間の処理や複数段階の作業を必要とする評価が、トークン消費量の大部分を占める構成だ。ただし、費用の変化をすべてエージェント型評価の増加だけで説明できるわけではない。
Artificial Analysisは、費用の算出に際して、各モデルの提供者が報告するトークン数と、実測した一般的なキャッシュ命中率を組み合わせている。そのため、表に示された費用はIntelligence Indexの課題を処理した際の平均値であり、成功した作業1件当たりの費用ではない。また、実際の日本語業務を同じ費用で処理できることを保証するものでもない。評価は主に英語とテキストを対象としており、多言語能力などは別の評価で測定されている。
さらに、FrontierCode 2.0やTerminal-Bench-Scienceでは、モデルを動かすエージェント環境や利用可能なツールも異なる。ベンチマークの得点は、こうした実行環境を含む条件下で得られた結果であり、モデル単体の能力だけを示しているわけではない。実際の業務に導入する場合は、使用する推論設定とツール、実行基盤を揃えたうえで、必要な作業の成功率と費用を測定することが重要だ。
非公開評価の信頼性と、モデルの長期的な進歩をどう測るか
非公開の評価問題を増やすことには、利点と課題の両方がある。The Decoderの分析では、非公開テストを採用すると、外部の研究者が問題文の誤りや不備を発見しにくくなる点が指摘されている。問題や正答を非公開にすれば、既知の問題に対する過剰な最適化を抑えられる可能性がある一方、評価問題そのものを第三者が検証する機会は減少する。ベンチマークの信頼性を確保するには、この両面を考慮する必要がある。
今回のAA-Omniscienceで曖昧な問題や誤問が修正されたことも、評価問題の品質がスコアに影響することを示している。ただし、問題を非公開にしただけで、学習データへの混入を完全に防げるわけではない。反対に、評価問題が非公開だからといって、ベンチマーク全体が検証不能になるとも限らない。重要なのは、評価の構成や採点基準、実行条件がどこまで公開されており、第三者が結果の妥当性をどの程度確認できるかという点だ。
また、AIモデルの長期的な進歩を評価する際には、Intelligence Indexのバージョン間比較にも注意が必要になる。Artificial Analysisは「Progress Index v1」の公式方法論で、Intelligence Indexはバージョンごとに評価項目を変更するため、異なるバージョンの得点を使った長期比較を目的としていないと明記している。Intelligence Indexは、その時点で利用可能なモデルを共通の条件で比較するための指標だ。一方、評価対象や問題の難易度が変化するなかで、AIの能力が長期的にどれほど向上したかを調べるには、別の測定方法が必要になる。
そこでArtificial Analysisが導入したのが、項目反応理論（Item Response Theory）を用いるProgress Index v1だ。この方法では、評価問題の難易度とモデルの能力を同時に推定し、共通する問題やモデルの結果を手掛かりに、異なる時期の評価を統計的に結びつける。これにより、測定に使う問題が入れ替わっても、能力の変化を比較できるようにする。旧版と新版のスコアを単純に引き算するのではなく、どのような共通情報を使って評価尺度を接続したかを明らかにする仕組みだ。
Intelligence Index v5は、非公開評価の配点を増やすとともに、コード開発や科学研究など、より実践的な作業を重視する方向へ進化した。しかし、総合順位の変化だけでは、個々のモデルがどの用途で優れているのか、実際の業務でどれほどの費用がかかるのかまでは分からない。モデルを選定する際には同じバージョンでの用途別成績と費用を比較し、長期的な能力の進歩を調べる際にはProgress Indexのような別の指標を使用する必要がある。最終的には、実際に利用できる推論設定と実行環境で、対象業務の成功率とコストを検証することが、ベンチマークの結果を適切なモデル選定につなげるうえで重要となる。
