AIが人間の介入なしに複数段階のサイバー侵入作戦を遂行する能力について、閉鎖型モデルとオープンウェイトモデルの性能差が縮まりつつある。AI評価機関Vals AIが2026年10月23日に更新した「Vals CyberOffense」ベンチマークでは、OpenAIのDaybreakプログラムに属する閉鎖型モデル「GPT-6 Sol Daybreak」が模擬企業ネットワーク内で攻撃目標の80.8%を達成した。一方、モデルの重みが公開されている「DeepSeek V4.1 Flash 1017」も72.8%を達成し、閉鎖型の最先端モデルに迫る結果を残した。
この結果は、オープンウェイトモデルでも高度な自律侵入作戦を遂行できる可能性を示している。ただし、今回の評価は査読付き学術論文ではなく、Vals AIが実施したベンチマークの報告である。また、対象は外部から隔離された試験用の模擬ネットワークであり、実際に企業が運用しているシステムではない。したがって、ベンチマーク上の目標達成率を、そのまま現実のサイバー攻撃の成功率や被害の発生確率と解釈することはできない。
模擬企業ネットワークで自律的な侵入能力を評価
オープンウェイトモデルとは、AIモデルのパラメータ（重み）が公開され、利用者が自分の計算基盤上で実行できるモデルを指す。一方、閉鎖型モデルは通常、提供企業が管理するAPIなどを通じて利用する。重みを入手した利用者がモデルを自前の環境で動かす場合、提供元が後から利用状況を一元的に監視したり、特定の指示を遮断したりすることはできない。今回の評価では、こうしたオープンウェイトモデルが自律型の攻撃エージェントとしてどこまで機能するのかを、閉鎖型モデルと同じ条件で比較した。
実験では、外部ネットワークから隔離された単一のKali Linux仮想マシンに、オープンソースのAIエージェント実行基盤「Pi」を配置し、各モデルに操作させた。エージェントには標的となるWebアプリケーションのURLと、許可された検証範囲を示す指示だけを与え、その後は人間が介入することなく動作させた。通信先はモデル提供元の推論エンドポイントと、標的となる模擬ネットワーク環境（サイバーレンジ）に制限されている。
標的は単純なWebサイトではなく、複数のWindows Active DirectoryドメインやWebサービスが連携する複合的な企業ネットワークとして構築されている。各試行は環境を初期状態に戻してから開始し、エージェントが自発的に終了するか、トークン上限または48時間の制限時間に達した時点で打ち切られる。攻撃目標は、Webアプリケーションの脆弱性を悪用した初期侵入から、ドメイン管理者権限の取得、関連組織への侵入まで、攻撃作戦の各段階に設定されている。単一の脆弱性を発見できるかではなく、複数の手順を組み合わせて最終目標にどこまで近づけるかを評価する仕組みだ。
採点はモデル自身の成功報告には依存しない。エージェントが実行したコマンドの出力やシステムへの変更を外部の監査基盤が記録し、事前に設定された非公開の正解条件（フラグや特定の操作痕跡）と照合して自動判定する。これにより、モデルが実際には達成していない目標を成功したと報告しても、その自己申告が得点に反映されないようになっている。
評価には、難易度の異なる2つのシナリオが用意された。1つ目の「Nova」は、接続されたWindows Active Directoryドメイン内に21個の攻撃目標を設定した環境だ。2つ目の「Lighthouse」は、独立した2つの組織ネットワークにまたがる31個の目標を持ち、最初の組織で入手した認証情報を再利用しなければ、2つ目の組織へ侵入できない構成となっている。総合スコアは、両シナリオの目標達成率をそれぞれ計算し、均等に平均して算出する。
- Nova目標数（全21）
- Lighthouse目標数（全31）
データを表で見る
| Nova目標数（全21） (個) | Lighthouse目標数（全31） (個) | |
|---|---|---|
| GPT-6 Sol Daybreak | 15.7 | 27 |
| DeepSeek V4.1 Flash 1017 | 16.3 | 21 |
| Meta Wonder | 7 | 28 |
| Kimi K3.1 Pro | 13 | 20 |
| Grok 4.7 | 12 | 16 |
| Kimi K3 | 9 | 10 |
| GLM 5.3 Flash | 5 | 5 |
この試験設計により、同じ実行基盤とルールの下でモデル間の相対的な性能を比較できる。一方、人間の熟練ペネトレーションテスターを参加させた対照実験は行われていない。また、防御側のセキュリティオペレーションセンター（SOC）による能動的な検知や対抗措置も再現されておらず、実際の企業ネットワークで同様の結果になるかは検証されていない。
シナリオによって逆転する性能と試行ごとのばらつき
総合スコアではGPT-6 Sol Daybreakがリードしているものの、シナリオ別の結果を見ると、必ずしも閉鎖型モデルが一貫して優位に立っているわけではない。
比較的基本的なシナリオであるNovaでは、GPT-6 Sol Daybreakが21目標中平均15.7個を達成し、達成率は74.8%だった。3回の試行で達成した目標数は12〜19個と、結果には一定のばらつきがあった。これに対してDeepSeek V4.1 Flash 1017は、同じく3回の試行で平均16.3個（77.6%）を達成し、各試行の結果も15〜18個の範囲に収まっている。Novaに限れば、オープンウェイトのDeepSeekが閉鎖型のGPT-6 Sol Daybreakを平均値でわずかに上回った。
| モデルと提供形態 | Nova達成目標数（全21） | Lighthouse達成目標数（全31） | 試行回数・ばらつき | コスト・計算リソース |
|---|---|---|---|---|
| GPT-6 Sol Daybreak（閉鎖型） | 15.7（平均、範囲12〜19） | 27 | Nova：3回、Lighthouse：1回 | 推論費用は1試行約22ドル。1億トークン未満で大半の目標に到達 |
| DeepSeek V4.1 Flash 1017（公開型） | 16.3（平均、範囲15〜18） | 21 | Nova：3回、Lighthouse：1回 | 推論費用は1試行3ドル未満。1億トークン超過後に大きく進展 |
| Meta Wonder（公開型） | 7 | 28 | 各シナリオ1回 | Lighthouseで最高得点を記録する一方、Novaでは低迷 |
| Kimi K3.1 Pro（非公開/API） | 13 | 20 | 各シナリオ1回 | 単一試行のみ |
| Grok 4.7（非公開/API） | 12 | 16 | 各シナリオ1回 | 単一試行のみ |
| Kimi K3（非公開/API） | 9 | 10 | 各シナリオ1回 | 単一試行のみ |
| GLM 5.3 Flash（公開型） | 5 | 5 | 各シナリオ1回 | 約36時間、約1000ターンを費やすも初期段階で停滞 |
より複雑なLighthouseでは、この関係が逆転する。GPT-6 Sol Daybreakは31目標中27個を達成し、達成率は87.1%に達した。最初のWebアプリケーションへの侵入から、第1組織の管理者権限の取得、メモリや設定ファイルから入手したパスワードを利用した第2組織への横展開（ラテラルムーブメント）まで進め、3時間未満で27個の目標を達成した。一方、DeepSeek V4.1 Flashの達成数は21個（67.7%）にとどまり、複数組織にまたがる認証情報の連鎖的な利用で差がついた。
シナリオによる成績の違いがさらに顕著だったのはMeta Wonderだ。Novaでは21目標中7個しか達成できなかったにもかかわらず、Lighthouseでは31目標中28個を達成し、全モデルの中で最高の結果を記録した。ネットワークの構成や用意された脆弱性の種類によって、同じモデルでも結果が大きく変わることが分かる。単一の総合スコアだけでモデルの侵入能力を順位付けすることには限界がある。
もっとも、どのモデルもすべての目標を安定して達成できたわけではない。Lighthouseの最終段階に設定された最高難度の目標を達成したモデルはなく、Novaでも全目標を達成できた試行は全モデルを通じて1回だけだった。さらに、Vals AIの公開データには信頼区間や統計的有意性の検定結果が含まれていない。多くのモデルは各シナリオで1回しか試行していないため、数個の目標達成数の差を決定的な性能差と判断することはできない。
1億トークンを超えて進む攻撃と推論コストの差
今回のベンチマークで特に注目されるのは、エージェントが消費するトークン数と推論コストの関係だ。長時間の試行を許容することで、短い評価では見えてこない能力が発揮される可能性が示された。
DeepSeek V4.1 Flashの進捗を見ると、最初の2500万トークンを消費するまで、達成した攻撃目標はゼロだった。しかし、累積トークン消費量が1億を超えた後に大きく進展し、目標達成数を急速に増やした。つまり、短時間の実行や少ないトークン予算を前提とした評価では、このモデルが長時間の試行錯誤によって到達できる水準を捉えきれない可能性がある。
これに対し、GPT-6 Sol Daybreakは少ないトークン数で目標を達成している。Lighthouseでは、累積消費量が1億トークンに達する前に31目標中25個を完了していた。DeepSeekが同程度の進捗に到達するには、Daybreakの2〜4倍のトークンを消費する必要があった。推論の効率や複数段階の作業を進める能力では、依然として閉鎖型の最先端モデルが優位に立っている。
一方、推論コストを比較すると違った構図が見えてくる。Vals AIの算出では、Novaにおける1試行あたりの推論費用は、GPT-6 Sol Daybreakが約22ドルだったのに対し、DeepSeek V4.1 Flashは3ドル未満だった。少なくとも約7分の1の費用で試行でき、条件によっては10分の1程度に抑えられる計算だ。DeepSeekは同等の目標に到達するまでに多くのトークンを必要とするものの、単価の低さによって総額を抑えられる。時間をかけた試行錯誤が許される条件では、このコスト差が大きな意味を持つ。ただし、ここで比較しているのは推論費用であり、標的の調査や実行環境の構築などを含むサイバー攻撃全体の費用ではない。
また、計算量を増やせば必ず成果が向上するわけでもない。実験では、モデルがトークン上限や制限時間に達する前に自発的に動作を終了したり、進展できない状態に陥ったりするケースが見られた。例えばGLM 5.3 Flashは約36時間にわたって1000ターン以上の処理を繰り返したが、NovaとLighthouseのいずれも達成数は5目標にとどまった。長時間動作させるだけでは、推論能力や計画立案能力の不足を補えないことを示す結果だ。
Vals AIは今回の結果を踏まえ、実際の企業ネットワークを標的とする自動化された攻撃の試行が、今後数カ月で増加する可能性があると予測している。ただし、これはベンチマークの結果から導かれた将来予測であり、現実のサイバー攻撃が増加していることを今回の実験で実測したわけではない。
英国AI安全研究所も報告する「4〜7カ月」の性能差
オープンウェイトモデルと閉鎖型モデルの性能差が縮まりつつあるという傾向は、Vals AI以外の評価機関からも報告されている。
英国のAI安全研究所（AISI）が2026年7月17日に公開した報告によると、GLM-5.2やDeepSeek V4-Proといった主要なオープンウェイトモデルのサイバー能力は、4〜7カ月前に登場した閉鎖型の最先端モデルに相当する水準に達しているという。2025年の内部評価では、この差は6〜10カ月と推定されていた。両者を比較すると、オープンウェイトモデルが閉鎖型の最先端モデルに追いつくまでの期間は短くなっている。
ただし、AISIとVals AIでは評価方法が異なる。AISIの個別タスク評価では、70種類の課題についてそれぞれ5回の試行を実施し、トークン上限を250万に設定している。また、サイバーレンジ評価では原則として10回の試行を平均し、トークン上限は1億だった。Vals AIの評価でDeepSeek V4.1 Flashが大きく進展したのは1億トークンを超えてからであり、評価時の計算量の上限が結果に影響する可能性がある。AISI自身も、長時間の実行でエージェントが停滞する原因について、専門的なサイバー技術の不足なのか、長期的な計画を維持する汎用的な能力の限界なのかを区別することは難しいと指摘している。
AISIの評価でも、モデル間の推論コストには大きな差が見られた。1億トークンを消費するサイバーレンジ試行では、AnthropicのClaude Opus 4.5が公称価格に基づく計算で85ドルを要したのに対し、DeepSeek V4-Proは1.19ドルだった。ただし、オープンウェイトモデルは利用する推論サービスや自前の計算環境によって費用が変わるため、この数値は特定の条件下での比較にすぎない。
脆弱性を悪用するコード（エクスプロイト）の自動生成についても、性能差の縮小を示す結果が報告されている。Anthropicが公表したサンドボックス環境「ExploitBench」の評価では、ブラウザエンジン「V8」の脆弱性を悪用するエクスプロイトの構築において、GLM-5.3が410回の試行中50回で一連の工程を成功させた。最上位の研究プレビューモデル「Mythos Preview」は410回中56回であり、成功回数は近い水準だった。
ただし、AISIやAnthropicの検証も、隔離された研究環境やシミュレーション内で実施されたものだ。Vals AIによる複数組織への侵入作戦を直接再現したわけではなく、実際の企業システムに対する侵害能力を同じ条件で比較したものでもない。異なる評価で性能差の縮小が報告されていることは重要だが、その結果を現実の攻撃成功率に直接結び付けることはできない。
防御側への活用とオープンウェイトモデルの管理上の課題
オープンウェイトモデルでも高度な自律侵入作戦を進められるという結果は、サイバーセキュリティにとって利点とリスクの両面を持つ。
まず、攻撃能力の向上は、防御側が自社システムの弱点を調べるためにも利用できる。今回のベンチマークでエージェントが行った探索や侵入経路の検証は、企業がActive Directoryの設定不備や、適切に管理されていない認証情報を発見する自動ペネトレーションテストにも応用できる。低コストのモデルを使って継続的に検証できれば、セキュリティ監査の負担を減らせる可能性がある。ただし、今回の試験は攻撃目標の達成能力を測ったものであり、防御側が実際に導入した場合の費用削減効果や、攻撃の検知・阻止にどこまで役立つかを確認したものではない。
もう1つの論点は、モデル提供元による利用管理の限界だ。APIを通じて提供される閉鎖型モデルでは、提供企業が不正利用の兆候を監視し、入出力のフィルタリングやアカウントの停止などによって利用を制限できる。一方、オープンウェイトモデルを利用者が自前の環境に展開した場合、提供元は実行時の指示や出力を一元的に監視できない。利用者がモデルに施された安全対策を変更したり、提供元の監視が及ばない環境でエージェントを動かしたりすることも可能になる。モデルの重みが広く配布された後、その利用を提供元が一律に停止させることは難しい。
もっとも、オープンウェイトモデルには正当な利用上の利点もある。モデルの内部構造を検証しやすくなるほか、機密データを外部サービスへ送信せずに処理したり、組織固有の用途に合わせて調整したりできる。研究の透明性やプライバシー保護の観点からも価値があり、配布を一律に制限することが技術開発や正当な利用を妨げるとの懸念もある。サイバー攻撃への悪用リスクだけでなく、こうした利点も考慮する必要がある。
さらに、今回の評価環境と実際の企業ネットワークには重要な違いがある。Vals AIの実験には、EDR（Endpoint Detection and Response）による不審な挙動の検知、ファイアウォールによる動的な通信制御、SOCの監視担当者による調査や対応といった能動的な防御措置が含まれていなかった。実際の企業ネットワークでは、長時間にわたる試行錯誤や大量のコマンド実行が監視システムに検知され、攻撃が途中で阻止される可能性がある。しかし、どの段階で検知されるのか、エージェントが防御側の対応に適応できるのかについては、今回の結果からは判断できない。
Vals AIやAISIなどの評価は、オープンウェイトモデルのサイバー攻撃能力が閉鎖型の最先端モデルに近づいていることを示している。一方、模擬環境での高い目標達成率が、そのまま実環境での脅威の大きさを意味するわけではない。今後重要になるのは、防御側が監視や対抗措置を行う環境でも、AIエージェントが侵入作戦を継続できるのかを検証することだ。併せて、同じ技術を防御側が活用することで、脆弱性の発見や攻撃の阻止にどれだけ役立てられるかも評価していく必要がある。