Googleは10月28日、新たなAIモデル「Gemini 4 Carbon」を発表した。同社で最も高性能なモデルと位置付け、特にサイバーセキュリティ分野や長時間に及ぶ複雑なタスクで最高水準の性能を発揮すると説明している。独立系のAI評価機関Artificial Analysisが公開する総合指数でも59点を記録し、首位に立った。ただし、2位のClaude Opus 5.5との差はわずか1点で、Googleが公表した比較結果で大きな差が見られるのは、長文脈の理解を測るGraphWalksと、脆弱性の悪用可能性を検証するExploitGymなど一部の評価に限られる。導入期間終了後の定価はOpus 5.5と同額で、一般向けAPIの提供時期もまだ明らかになっていない。Carbonの優位性は、どのような条件で成立し、どこに限界があるのだろうか。
総合59点で首位も2位とはわずか1点差、9つの評価では4項目でトップ
Artificial Analysisが10月29日時点で公開している「Intelligence Index v5.0」では、Gemini 4 Carbon（推論設定High）が59点で首位となり、Claude Opus 5.5（Max）が58点、同じOpus 5.5のXhigh設定が57点で続いている。Googleが示した同指数の比較値では、GPT-6 Astraが57点、前モデルのGemini 4 Argonが50点となっている。上位3つのスコアはわずか2点の範囲に収まっており、Carbonと2位の差は1点しかない。総合指数では首位でも、他社の最上位モデルを大きく引き離したわけではない。
この指数は、9種類のベンチマーク結果を統合したものだ。ある評価で大差をつけても、別の評価で劣れば総合点では差が縮まるため、1点差という数字だけではモデルごとの得意分野や弱点は分からない。また、比較する際には推論設定の違いにも注意が必要だ。High、Max、Xhighは推論に使用する計算量を調整する設定であり、同じモデルでも設定によってスコアが変わる。実際、Opus 5.5はMaxで58点、Xhighで57点と別々に掲載されており、Carbonの59点はHigh設定での結果である。
総合指数を構成する9つの評価を個別に見ると、10月29日時点の首位モデルとCarbonの成績は次のようになる。
| 評価項目 | 10月29日時点の首位 | Gemini 4 Carbon（High）の成績 |
|---|---|---|
| AA-Omniscience v1.1 | Gemini 4 Carbon（指数54） | 首位。2位のOpus 5.5（Max）は48 |
| HLE-Diamond | Gemini 4 Carbon（69.1%） | 首位。2位のOpus 5.5（Max）は67.9% |
| AutomationBench-AA | Gemini 4 Carbon（77.8%） | 首位。2位のArgon（High）は77.5% |
| Terminal-Bench-Science 0.1 | Gemini 4 Carbon（64.8%） | 首位。2位のGPT-6 Astra（Max）は63.3% |
| Terminal-Bench 4.0 | Kimi K3.1 Pro（67.2%） | 65.2%で2位 |
| FrontierCode 2.0 | Claude Opus 5.5（Max、46.4%） | 首位ではない |
| CritPt v2 | GPT-6 Astra（High） | 首位ではない |
| AA-Briefcase v1.1 | Carbonを上回るモデルが複数存在 | 1609 Elo。Grok 4.7（Xhigh）の1638、Muse Wonder（Max）の1659を下回る |
| GDP.pdf | Carbon以外のモデル | 首位ではない |
このように、Gemini 4 Carbonが首位を獲得したのは9項目中4項目だった。しかも、そのうち3項目では2位との差が小さい。HLE-Diamondでは1.2ポイント、AutomationBench-AAでは0.3ポイント、Terminal-Bench-Science 0.1では1.5ポイントにとどまる。最も差が大きかったAA-Omniscienceでも、指数で6ポイントの開きだった。
残る5項目では、他社のモデルが首位に立っている。Terminal-Bench 4.0ではKimi K3.1 Proが67.2%を記録し、Carbonは2.0ポイント差の2位だった。FrontierCode 2.0ではClaude Opus 5.5（Max）が首位を獲得したが、Carbonとは推論設定が異なる。一方、CritPt v2では同じHigh設定のGPT-6 Astraが首位となっており、推論設定をそろえてもCarbonが優位に立つわけではない。
AA-Briefcaseでも、Carbonは前モデルのArgon（1483 Elo）から126ポイント改善し、1609 Eloに達したものの、Grok 4.7やMuse Wonder、Kimi K3.1 Proなどには及ばなかった。Eloは対戦形式の評価結果から算出する相対的なレーティングであり、Carbonの改善幅が大きくても、他社モデルを上回ったとは限らない。なお、総合指数に採用されているCritPt v2の結果は「Hard Subset」に限定されており、評価ページに掲載される全体スコアとは異なる。このため、本記事ではCritPt v2の具体的な点数による比較は行わない。
別の独立評価でも、最上位モデルの実力は拮抗している。Vals AIが公開する「Vals Index v2.2」では、Carbon（High）が70.36%を記録し、29モデル中2位となった。首位のClaude Sonnet 5.5は70.85%、3位のOpus 5.5は70.18%で、Carbonとの差はそれぞれ0.49ポイントと0.18ポイントにすぎない。一方、同じVals AIの法務調査ベンチマーク「Legal Research Bench」では、Carbonが87モデル中1位を獲得している。異なる評価機関の総合指数を見ても、上位モデルの差は極めて小さく、今後の新モデル投入によって順位が入れ替わる可能性は十分にある。
Googleの比較表ではGraphWalksとExploitGymで大差、ただし比較対象は限定的
Google DeepMindが公開したモデル紹介ページには、17項目のベンチマーク結果が掲載されている。比較対象はGemini 4 Argon、GPT-6 Astra、Claude Opus 5.5、Claude Fable 5.1の4モデルで、Carbonは17項目中15項目で最高スコアを記録した。首位を逃したのは2項目で、FrontierSWE 2ではAstraの65.5%、Opus 5.5の62.3%に対してCarbonは61.2%だった。また、OSWorld-2.1のOffline subsetでも、Opus 5.5の87.2%に対してCarbonは81.5%にとどまっている。
Googleの比較結果で特に大きな差が開いたのが、長文脈の理解能力を測る「GraphWalks」だ。このベンチマークでは、256K〜1Mトークンという膨大な文脈に散らばったグラフの接続関係を、幅優先探索（BFS）によってたどる能力を評価する。採点には、正解の取りこぼしと誤った回答の両方を考慮するF1スコアが使われる。Googleの公表値ではCarbonが96.2%に達し、Argonの84.2%、Astraの71.8%、Opus 5.5の66.8%、Fable 5.1の65.0%を上回った。Opus 5.5との差は29.4ポイント、前モデルのArgonとの差も12.0ポイントあり、長い文脈に分散した情報の関係を追跡する能力で大幅な改善が報告されている。
サイバーセキュリティ関連の評価についても、Googleは3種類のベンチマークを公表した。それぞれ、脆弱性を発見する能力を測る「SEC-bench Pro」、発見した脆弱性が実際に悪用可能かを検証する「ExploitGym」、脆弱性を修正するパッチの作成能力を測る「CWE-bench」だ。Googleによると、これらの評価は有害な出力を防ぐガードレールを無効化した条件で実施された。SEC-bench ProではCarbonが88.2%となり、Argonの83.4%、Astraの85.4%を上回った。CWE-benchでもCarbonは71.0%を記録し、ArgonとAstraの68.0%、Opus 5.5の67.0%、Fable 5.1の58.0%を上回っている。ただし、脆弱性の発見と修正に関しては、次点との差はおおむね3ポイント前後に収まる。
これに対し、ExploitGymではCarbonの優位性が際立っている。Carbonは54.8%を記録し、Argonの42.0%、Astraの42.4%を12ポイント以上、Opus 5.5の34.5%を20.3ポイント上回った。サイバーセキュリティに関する3段階の評価のうち、脆弱性が実際に悪用できるかを検証する工程で、最も大きな差が生じたことになる。Googleはさらに、社内評価ではArgonと比べて安全なコードを生成できた割合が2倍以上になり、Chromeチームによる評価では、高品質な修正パッチの生成で、モデル名を伏せた他社の大型フロンティアモデルを10倍以上上回ったと説明している。ただし、後者の「10倍」が具体的に何の指標を比較したものかは明らかにされていない。いずれもGoogle側が実施した評価である点には留意が必要だ。
重要なのは、GraphWalksとサイバーセキュリティ関連の3評価は、Artificial AnalysisのIntelligence Indexを構成する9項目には含まれていないことだ。つまり、総合指数では2位と1点差だったCarbonが、Googleの公表結果では一部の特定分野で大きく差を広げている。これらの結果はCarbonの得意分野を理解するうえで参考になるが、独立した第三者による総合評価と同列に扱うことはできない。
また、Googleの比較表では、比較対象として選ばれたモデルにも注意が必要だ。例えばTerminal-Bench 4.0では、Carbonの65.2%が表中の最高値となっているが、Artificial Analysisの全体ランキングではKimi K3.1 Proが67.2%で首位に立っている。Carbonの65.2%というスコア自体は両者で一致しており、違いはGoogleの比較表にKimi K3.1 Proが含まれていないことにある。同様に、AA-BriefcaseでCarbonを上回るGrok 4.7やMuse Wonderも比較対象には含まれていない。したがって、「17項目中15項目で首位」という結果は、Googleが選んだ4モデルとの比較に限って成立する数字だ。
前モデルArgonから約2週間で進化、ただし一部の指標は悪化
Gemini 4 Argonは9月30日、サイバー防御担当者向けの「Fairwind Program」を通じて発表され、10月13日にはGemini API（AI Studio）やGeminiアプリのAI Pro、Ultraなどで広く提供が始まった。GoogleがCarbonの発表文で言及した「2週間前」とは、この10月13日の一般提供開始を指している。Artificial Analysisによると、CarbonはArgonとほぼ同水準の利用費用を維持しながら、総合指数を50点から59点へ9ポイント引き上げた。ただし、Intelligence Index v5.0は評価項目が追加された改訂版であるため、旧版の総合スコアと直接比較することはできない。
改善は複数のベンチマークに表れている。Artificial AnalysisのAA-Briefcaseでは、Argon（High）の1483 EloからCarbon（High）の1609 Eloへ126ポイント上昇した。Googleが公開した比較表でも、Terminal-Bench 4.0のスコアはArgonの57.1%からCarbonの65.2%へ8.1ポイント改善している。総合指数だけでなく、個別の評価でも前モデルを上回る結果が確認できる。
一方、すべての指標が改善したわけではない。Artificial Analysisの知識評価「AA-Omniscience」では、Carbonの正答率がArgonより10ポイント高い58%に上昇した一方、ハルシネーション率も4%から11%へ悪化した。このハルシネーション率は、回答を控えるべき問題に対して誤った回答を出した割合を指し、先の表に掲載したAA-Omniscienceの指数（−100〜100）とは異なる指標だ。もっとも、Carbonの11%は全モデル中2番目に低い水準であり、最も低いのはArgonの4%だった。Opus 5.5（Max）とGPT-6 Astraはいずれも50%となっており、競合モデルと比べればCarbonのハルシネーション率は依然として低い。
正答率とハルシネーション率が同時に上昇することは、評価の仕組み上、十分に起こりうる。例えば、以前は回答を控えていた問題にも積極的に答えるようになれば、正答数が増える一方で誤答も増える可能性がある。ただし、Artificial Analysisは両指標の変化を示しているだけで、Carbonで実際にこのような挙動の変化が起きたと説明しているわけではない。原因については、追加の検証が必要だ。
利用費用については、前モデルからほとんど変化していない。Artificial Analysisが定価を使って算出した1タスクあたりの費用は、Argonの7.68ドルに対してCarbonは7.76ドルだった。安全性の改善についてもGoogleは複数の結果を示しており、Gray Swanによる間接プロンプトインジェクションの評価では、攻撃成功率がArgonの0.7%からCarbonでは0.0%に低下したとしている。間接プロンプトインジェクションとは、Webページやメールなどに悪意のある指示を埋め込み、それを読み取ったAIエージェントの動作を誘導する攻撃だ。また、Terminal-Bench 4.0では、不正な手段によるタスク成功率が0.0%、不正な試み自体の発生率も0.4%だったと報告している。
定価はClaude Opus 5.5と同額、それでも1タスクあたりの費用には差がある
Gemini 4 Carbonの導入価格は、Argonと同じ入力100万トークンあたり2ドル、出力100万トークンあたり10ドルに設定されている。キャッシュ済みの入力トークンには95%の割引が適用される。ただし、Googleは発表文の脚注で、導入期間終了後は入力4ドル、出力20ドルに引き上げると明記している。導入価格がいつまで適用されるかは公表しておらず、Artificial Analysisも終了日が未定の50%割引として扱っている。
一方、前モデルのArgonについては価格改定日が明らかになっている。10月27日に更新されたGemini APIの料金ページでは、Argonとみられるフラッグシップ推論モデルの入力単価が、11月30日までは100万トークンあたり2ドル、12月1日からは4ドルになると記載されている。出力単価も10ドルから20ドルへ、キャッシュ済み入力の単価も0.10ドルから0.20ドルへ引き上げられる。ただし、Carbonはこの料金ページにまだ掲載されていないため、Argonの価格改定日をCarbonにも適用することはできない。
主要モデルの料金を比較すると、次のようになる。
| モデル | 入力（100万トークン） | 出力（100万トークン） | 導入価格 |
|---|---|---|---|
| Gemini 4 Carbon（導入期間後） | 4ドル | 20ドル | 入力2ドル、出力10ドル（終了日未公表） |
| Gemini 4 Argon（12月1日から） | 4ドル | 20ドル | 入力2ドル、出力10ドル（11月30日まで） |
| Claude Opus 5.5 | 4ドル | 20ドル | なし |
| GPT-6 Astra | 10ドル | 50ドル | なし |
導入期間終了後の定価では、Gemini 4 CarbonとClaude Opus 5.5はどちらも入力100万トークンあたり4ドル、出力20ドルで並ぶ。GPT-6 Astraの入力10ドル、出力50ドルと比べると、Carbonの単価は入力・出力ともに40%だ。なお、Anthropicの公式資料によれば、Opus 5.5はこの価格で最大100万トークンのコンテキストと、最大12万8000トークンの出力に対応している。
ただし、トークン単価が同じでも、実際のタスク処理にかかる費用まで同じになるとは限らない。APIの利用料金は、単価に実際のトークン消費量を掛けて決まるためだ。Artificial Analysisが定価に基づいて計算したIntelligence Indexの1タスクあたりの費用は、Carbonが7.76ドル、Opus 5.5（Max）が10.04ドル、Astra（Max）が6.25ドルだった。この条件では、CarbonはOpus 5.5より約23%安い一方、Astraより約24%高い。Carbonの出力トークン数は1タスク平均12万3000トークンで、Opus 5.5（Max）の17万3000トークンより約29%少なかった。
つまり、トークン単価だけで比較するとAstraが最も高く、CarbonとOpus 5.5が同額となる。しかし、1タスクあたりの費用では安い順にAstra、Carbon、Opus 5.5となり、Astraが最も低コストになる。これは、単価が高くても処理に必要なトークン数が少なければ、総費用を抑えられることを示す結果だ。ただし、今回の比較ではCarbonがHigh、Opus 5.5とAstraがMaxという異なる推論設定を使用しており、設定を変更すればトークン消費量も変わりうる。また、Artificial Analysisの費用比較はすべて定価に基づいており、Carbonの導入割引が適用された場合の費用ではない。
一般向けAPIは未提供、今後の評価を左右する3つの条件
Googleによると、Gemini 4 Carbonは発表週から一部のサイバー防御担当者に提供され、Fairwind Programを通じて信頼できるパートナーへ段階的に展開される。同プログラムには650を超えるパートナーが参加しており、利用できるのはセキュリティ担当部門に限られる。また、アクセスにはフィッシング耐性を備えた多要素認証が必須となっている。開発者や企業、一般ユーザーへの提供について、Googleは可能な限り早期に拡大する方針を示しているものの、具体的な日付は発表していない。なお、Carbonは米国政府が正式公開前のAIモデルを対象に実施する、任意参加の評価にも参加している。
Artificial AnalysisのCarbonのモデルページでも、「一般に利用できるAPIはない」（No publicly available API）と明記されている。前モデルのArgonは、9月30日の限定公開から10月13日の一般提供まで13日を要したが、Carbonも同じ日程で提供が広がるとは限らない。日本の開発者にとっても、現時点でCarbonを自社のアプリケーションやワークフローにAPI経由で組み込む手段はなく、すぐに試せるのはArgonの方だ。ただし、そのArgonも11月30日で導入価格の適用が終了し、12月1日から入力4ドル、出力20ドルへ値上げされる予定となっている。
今後、Carbonの競争力に対する評価が変わる可能性があるのは、主に3つの条件だ。
第一に、Googleが一般向けAPIの提供開始日と、導入価格の終了時期を明らかにすることだ。現時点では、Carbonは導入期間中ならOpus 5.5の半額、期間終了後は同額になるとされているが、一般ユーザーが実際にどの料金で利用できるかは確定していない。提供条件が明らかになれば、性能だけでなく、実際の導入費用を含めた比較が可能になる。
第二に、Googleが公表したGraphWalksやサイバーセキュリティ関連の評価結果を、第三者が再現できるかどうかだ。特にGraphWalksでの29.4ポイント差や、ExploitGymでの20.3ポイント差は、他社モデルに対するCarbonの優位性を裏付ける重要な数字となっている。独立した評価でも同様の差が確認されれば、長文脈の理解や脆弱性の悪用可能性の検証における強みが、より確かなものになるだろう。
第三に、Artificial Analysisの9つの評価のうち、Carbonが首位を逃した5項目の結果が今後どう変わるかだ。具体的には、FrontierCode 2.0、CritPt v2、Terminal-Bench 4.0、AA-Briefcase、GDP.pdfが対象となる。一般提供後の再評価や他社の新モデル投入によって順位が変動すれば、現在の総合首位という位置付けも変わる可能性がある。
現時点で確認できるのは、Gemini 4 CarbonがArtificial AnalysisのIntelligence Index v5.0で、High設定において2位に1点差をつけて首位を獲得したという事実だ。一方、より大きな性能差が報告されているGraphWalksやExploitGymは、Googleが公表した比較結果に基づいている。Carbonが総合性能で競合を明確に引き離したと判断するには時期尚早であり、一般向けAPIの公開後に行われる独立評価と、実際の利用費用の検証が重要になる。
