OpenAIは2026年7月15日、自動レッドチーミングモデル「GPT-Red」を発表した。攻撃側と複数の防御側モデルを同時に鍛え、そこで見つけた攻撃をGPT-5.6の訓練へ戻す。これにより、人間・第三者のレッドチーミングを残したまま、攻撃発見から防御訓練までを反復する工程が加わった。OpenAIが「安全性の自己改善」と呼ぶ仕組みの射程はどこまで広く、どこから先はまだ人間とシステム設計に委ねられているのか。
攻撃者と防御者を同時に鍛える
GPT-Redの中核は、攻撃側と防御側が互いを学習相手にする自己対戦型の強化学習である。GPT-Redはプロンプトインジェクションなどを成功させれば報酬を得る。防御モデルは攻撃へ抵抗しながら、ユーザーから頼まれた元の仕事を完了したときに報酬を受け取る。防御が強くなるほど、攻撃側は別の経路を探さなければ勝てない。
学習環境は野放図な攻撃空間ではない。各シナリオには脅威モデルがあり、攻撃者が操作できる場所と成功条件を人間が定める。悪意ある命令をローカルファイルへ置くのか、Webページのバナーへ埋めるのか、メール本文やツール出力へ混ぜるのか。環境ごとに権限とゴールを切り分けることで、攻撃の成否を強化学習の報酬へ変換できる。
ここで生まれるのは、標的の強化に応じて難度が上がる訓練課程だ。固定した問題集では、モデルが満点へ近づくと学習信号が消える。自己対戦なら、防御モデルが古い攻撃を退けた瞬間から、その防御を破る新しい攻撃が次の教材になる。OpenAIはGPT-Redを配備モデルから分離し、攻撃能力を外部へ出さず、防御側へ耐性を移す構成を採った。
固定したGPT-4 Turboから「動く標的」へ
OpenAIは自動レッドチーミングを以前から研究してきた。2024年に公開した手法では、GPT-3.5級の攻撃モデルを強化学習で鍛え、固定したGPT-4 Turboを標的にした。間接プロンプトインジェクションには4,664件の訓練例と1,102件のテスト例を使い、未学習の攻撃目標へどこまで転移するかを測っている。
当時の課題は、成功率と多様性の両立だった。通常の強化学習は報酬を稼げる少数の攻撃へ収束しやすい。一方、1ショット生成は多様でも成功率がほぼゼロだった。そこでOpenAIは、攻撃目標ごとのルールベース報酬と、過去の試行とは異なる戦術を促す複数ステップの学習を組み合わせた。GPT-Redはこの流れを引き継ぎつつ、標的も同時に更新する。
固定標的から防御モデル群との共進化へ移ったことで、攻撃者は「昨日のモデルを破る専用器」から「強くなり続けるモデル群に追随する教材生成器」になった。OpenAIによれば、GPT-Redには同社最大級のポストトレーニングと同程度の計算規模を投じた。過去6カ月は前身モデルをGPT-5.3以降の各本番モデルへ順次使っており、今回の発表は研究デモよりも生産工程の変更を意味する。ただし、GPU数や学習トークン、費用は公表されていない。
既存評価の飽和も、この投資を促した。GPT-5.6 System Cardでは、既知のコネクター攻撃に対する防御成功率がGPT-5.1 thinkingの0.649からGPT-5.6 Solの1.000へ上がった。より強い検索・関数呼び出し評価でも0.423から0.910へ伸びている。古い試験で差が見えなくなれば、次の弱点を掘り起こす攻撃側を強くする必要がある。
84％の攻撃成功率が測った転移力
訓練中の相手に勝つだけなら、攻撃側が環境へ過適合した可能性を排除できない。OpenAIは未学習の環境と攻撃目標を使い、Dziemianらが設計した間接プロンプトインジェクション競技を社内で再現した。GPT-5.1を標的にした結果、GPT-Redは84％のシナリオで攻撃に成功し、人間のレッドチーマーは13％だったという。
この差は大きいが、人間を一般に上回ったとまでは言えない。発表文は人間側の参加人数と制限時間を示していない。試行回数やトークン予算、信頼区間も不明だ。
Dziemianらの公開コンペ自体は464人が13モデルへ272,000回攻撃し、41シナリオで8,648件の成功例を集めた。モデル別の攻撃成功率は0.5％から8.5％で、21件の行動へ転移する戦術も見つかったが、GPT-Redの社内再現とは攻撃予算も集計単位も異なる。数字を横並びにはできない。
転移の実務的な重みは、ツールを持つエージェントへの攻撃に表れた。GPT-Redはまずシミュレーション内でVendy型の店舗運営エージェントを攻撃し、その手順を実環境へ移した。結果は、在庫商品の価格を下限の0.50米ドルへ変える、100米ドル超の新商品を0.50米ドルで提供する、別の顧客の注文を取り消すという3目標の達成だった。OpenAIは脆弱性を関係者へ開示し、新しい防御策を試験中だとしている。
Codex CLIを使うGPT-5.4 miniに対しては、未学習のデータ持ち出し10シナリオで試した。GPT-Redはプロンプトで動かしたGPT-5.5より多くのシナリオで成功し、必要なトークンも少なかった。ただし、絶対成功数とトークン数は明かされていない。ここから読み取れる変化は、レッドチーミングの対象が危険な文章を言わせるチャット攻撃から、権限を持つエージェントに望ましくない操作を実行させる攻撃へ広がったことだ。
「自己改善」と再帰的自己改変の距離
GPT-Redが実現した自己改善は、モデルが自分のコードや重みを書き換え、能力向上の目標まで決める再帰的自己改変とは異なる。人間が脅威モデルと操作可能な範囲を定める。成功条件と報酬を設計し、計算基盤を用意した上で、どの攻撃データを本番モデルへ入れるかを管理する。自律性は攻撃を探索するループ内にあり、研究開発全体を握ってはいない。
OpenAI自身も用語を分けている。GPT-5.6 System Cardで「AI Self-Improvement」は、AI研究開発の自動化能力を測るリスク区分だ。評価には研究実験のデバッグやカーネル最適化が含まれる。1基のH100を使った小規模LLMの訓練改善と、ポストトレーニング手法の設計・実行も対象になる。GPT-5.6のSol、Terra、Lunaはいずれも、この区分ではHigh未満と評価された。GPT-Redの発表が指すのは、安全データを作る工程の自己改善である。
それでも、この限定されたループには大きな意味がある。人間のレッドチーマーは新しい失敗様式を見つける力に優れるが、モデル訓練を満たす量と反復速度には限界がある。GPT-Redは脆弱性の発見を、そのまま次のモデルの訓練信号へ変える。安全性向上の速度をモデル能力の伸びへ追随させるには、この工程をどこまで自動化できるかが効いてくる。
一方、現時点で外部検証に使える材料は限られる。GPT-Redの重みとコードは公開されず、訓練データや詳細な評価環境も非公開だ。外部研究者は結果を再現できない。攻撃能力の拡散を抑える判断には合理性があるが、攻撃と防御と評価を同じ組織が設計する以上、報酬や脅威モデルへの過適合を外から検査しにくい。未学習環境への転移試験はこの懸念を弱めても、独立評価の代わりにはならない。
0.05％の先に残る防御
防御側の改善は明瞭だ。GPT-Redの前身が見つけた「Fake Chain-of-Thought」攻撃はGPT-5.1で95％超の成功率だったが、GPT-5.6 Solでは10％未満へ下がった。GPT-5.6 SolがGPT-Redの直接プロンプトインジェクションに失敗した割合は0.05％で、最難関の直接攻撃評価でも4カ月前の最良本番モデルより失敗が6分の1になった。開発ツールとブラウジングを狙う一部の間接攻撃評価も97％超の精度に達している。
ただし、低い失敗率と安全の保証は同義ではない。膨大な回数動くエージェントでは0.05％も無視できず、未知の攻撃や製品固有のツール連鎖は評価分布の外から来る。防御モデルが何でも拒否すれば数字は上がるため、正当な仕事を完了できるかも同時に測らなければならない。OpenAIは一般能力と過剰拒否に悪化がなかったとするが、GPT-Red発表文には評価項目ごとの詳細がない。
モデルの学習で塞げない部分は、システム側で被害を限定する必要がある。ツール権限を狭め、外部通信を制限する。重要操作ではユーザー確認を挟み、実行環境を隔離する。監視は新しい攻撃を見つけたときにモデル更新より速く展開できる。GPT-Redはこの多層防御へ高品質な攻撃事例を供給するが、他の層を不要にはしない。
発表翌日の時点で詳細なプレプリントは未公開で、OpenAIは今週後半に出すと予告している。まず確認したいのは、計算量の尺度と防御モデル群の構成、報酬設計である。未学習環境の切り方、人間比較の予算、外部チームが追試できる評価の有無も欠かせない。攻撃者が強くなる速度を防御者が継続して上回り、その結果を独立した試験でも再現できるなら、この仕組みが未知の環境へ一般化するという主張の信頼度は大きく上がる。
