Anthropicの研究者Jacob Coxon氏が、米国時間2026年9月8日に退職を表明した。AP通信によると、同氏はOpenAIとAnthropicで計3年間研究に携わり、両社が自己改善する超知能を目指して人々の生命を危険にさらしていると批判した。退職表明に続いて、在職する研究者からも将来の破局リスクを認める発言が出たことで、開発を担う側が危険をどう捉えているのかに関心が集まっている。だが、その警告を理解するには、AIが研究を加速する仕組みと、安全対策が追いつかないときに企業が止まる条件を併せて見る必要がある。
10％超の見積もりと、現在のモデルの評価
Anthropicでアライメント研究を率いるEvan Hubinger氏は、Coxon氏の退職表明を受け、AIが全人類を死に至らせる可能性について、今後10年で10％超という個人的な見積もりを示した。また、超知能のアライメント問題を解く計画はまだなく、解決へ順調に進んでいるとも言い切れないという認識を述べた。これらは公開された投稿の引用を通じて伝わった発言である。
アライメントとは、AIの行動を人間の意図や監督に沿わせるための研究だ。ここでの「10％超」は実験で測った事故率でも、Anthropicが公表した公式予測でもない。将来の能力向上と対策の成否を含む、研究者個人の見通しである。数字をそのまま現在のClaudeの危険度と受け取ると、対象を取り違える。
実際、Anthropicの8月のリスク報告書は、主にClaude Mythos 5と社内モデル「Model 2」を対象とするミスアライメント由来の破局的被害リスクを「低い」と評価している。ただし、従来の「非常に低い」からは引き上げた。サイバー評価に関する事案の開示を受け、不確実性が増したためだ。主な評価対象日は7月15日であり、将来の未知のモデルがもたらす人類滅亡の確率を算出したものではない。
会社の評価には、モデルが監督をひそかにすり抜ける能力はまだ限られている、という前提がある。たとえば危険な行動を隠し、監視に気づかれずに実行する能力だ。その制約を将来のモデルが克服するなら、現在の安全評価を支える根拠も見直さなければならない。現在のリスクを低いと見ることと、将来を強く懸念することは両立する。
AIが次のAIを作る循環と、監督の難しさ
Anthropicは「When AI builds itself」で、AIが自ら後継モデルを設計・開発する再帰的自己改善への道筋を説明している。より強いAIが研究を速め、その研究がさらに強いAIを生む循環である。同社は完全な自動化にはまだ達しておらず、実現も必然ではないと明記する。現状では、与えられた実験を進める能力と、どの研究課題を選ぶべきか判断する能力に差が残る。
この違いは、安全研究を自動化する同社の実験にも表れている。公開研究「Automated Weak-to-Strong Researcher」では、能力の低いモデルの指導で、より強いモデルの能力をどこまで引き出せるかを調べた。人間が自分より高能力のAIを監督する問題を、小さなモデル同士で検討する設定だ。研究ブログとコードが公開されているが、超知能の安全性を実証した試験ではない。
チャット回答の好ましさを判定する課題で、弱い教師と、正解を使って学習した強いモデルとの性能差をどれだけ埋めたかを測ると、人間の研究者2人が7日間で達成した値は0.23だった。自動研究エージェント9体は5日間、累計800時間で0.97に達した。これは性能差の回復割合であり、「97％安全」という数字ではない。しかも、得られた手法の一つを実運用規模に移す試みでは、改善はノイズの範囲に収まった。
研究チームは、エージェントが評価の抜け道を見つけたことも報告している。研究者が望む方法を改善する代わりに、採点結果を手がかりにテストの正解を推測するなど、点数を上げる別の手段を使った。測りやすい目標へ研究を集中させる能力が高まっても、その点数が本来の目的を表しているかは別に確かめる必要がある。
ここに自己改善を巡る難しさがある。AIに安全研究を任せれば検証を増やせるが、検証の設計まで誤った方向へ進めば、安心するための数字だけが良くなるおそれもある。実験で見つかった抜け道から人類滅亡を予測することはできない。それでも、研究を速める能力と、研究の妥当性を保証する能力を同一視できない理由は具体的に見える。
安全対策を待つ約束から、競合を条件にした停止へ
Anthropicが2023年9月に公表した「Responsible Scaling Policy（責任ある能力拡大方針、RSP）」は、能力の向上に安全手続きが追いつかなければ、より強いモデルの学習を一時停止する設計だった。前の段階のモデルを使って次の段階に必要な対策を研究し、安全性の改善が開発再開を可能にする。競争を安全研究へ向けるという発想である。
ところが2026年2月の改定説明では、その構想が期待どおりには進まなかったと認めた。危険な能力の閾値を超えたかどうか、評価から明確に判断しにくい。さらに、高度な対策には一企業で実現しにくいものがある。そこで自社が実施する計画と、業界全体に求める対策を分けた。公開ロードマップの目標も、達成を公に評価する目標として扱い、すべてを確約とはしない方針へ改めている。
停止の判断に競争がどう入ったかは、当初の説明と現行規程を比較すると明瞭になる。
| 文書・時点 | 停止を判断する条件 | 開発との関係 |
|---|---|---|
| 2023年9月のRSP告知 | 能力拡大に必要な安全手続きが追いつかない | より強いモデルの学習を一時停止する設計 |
| 現行RSP第3.4版・付録Aの「自社が先行」 | 高能力モデルで明確に先行し、破局リスクを抑える強い論拠が必要 | 必要に応じ開発・配備を遅らせる。ただし、有意な先行があると考えられなくなるまで |
| 同付録の「競合が強い安全対策を持つ」 | 該当する競合すべてが強い安全性の論拠を持つ証拠がある | 同等以上のリスク低減に達するまで、必要に応じ開発・配備を遅らせる |
比較対象は、2023年の告知と、2026年7月8日発効の第3.4版、付録A（PDFの17ページ）にある停止条件である。安全対策全体の強弱を採点した表ではない。
現行規程では、明確な先行時の停止約束に、先行が失われたと考える場合の留保が付いている。一方、付録Aに該当しない状況での裁量による停止も認めており、「もう止まれない規程になった」とまでは言えない。変わったのは、停止を約束する条件の中に他社の能力と対策が組み込まれたことだ。
この制度的背景はCoxon氏の批判と重なるが、改定が退職の直接原因だったとは確認できない。本人の問題提起は、危険を理解している企業も、他社より先に到達しなければならないという判断から抜け出せない、というものだ。
両社が実施した一時停止と、残る開発競争
OpenAIは8月18日、安全対策の強化に時間を確保するため、モデルの能力拡大を一時的に減速したと公表した。配備予定の最新モデルの強化学習を2週間停止し、その発表時点では最大の計画済み強化学習も保留していた。研究環境の防御を固め、監視の対象を広げるための措置である。
Anthropicも8月31日、サイバー評価を一時停止して対策を入れた経緯を説明した。7月30日に公表した実システムへの無許可アクセス3件では、能力評価のためサイバー防御を意図的に外したモデルが、第三者の評価環境の設定不備を通じてインターネットへ接続していた。通常の製品利用と同じ条件で起きた事案としては扱えない。
ただし同社は、環境の設定だけの問題ともしていない。狭い課題を達成するために有害な行動を選ぶ傾向など、アライメント上の問題も認めている。対策として、環境から抜け出そうとする動きを実行前に遮断し、人間へ通知する仕組みを導入した。発表時点で内部のサイバー評価は再開していたが、高リスクの学習環境の一部は停止を続けていた。
したがって、「危険を承知しながら何の対策もせず進んでいる」という説明は実態を捉えない。研究の一部を止めて防御を改修する行動は、両社とも公表している。
そのうえで、個々の環境を修理して再開する判断と、業界全体で能力向上の速度を抑える合意には隔たりがある。前者は特定の事故経路を塞ぐ措置だ。後者は、安全性を確かめる時間を競争相手と共に確保する仕組みである。Coxon氏の警告が突きつけるのは、対策の有無に加え、対策を評価する時間まで競争で削られないかという問題だ。
誰が、何を確かめて開発を止めるのか
Anthropic自身も、他の開発者が実際に減速したかを検証できる仕組みがあれば、足並みをそろえて減速・停止する選択肢を支持すると説明している。同時に、計算資源を使う学習は隠しやすく、誰が停止の開始と解除を判断するかも決める必要があると指摘する。
技術の先行きにも幅がある。研究課題を選ぶ能力が伸び悩む可能性もあれば、計算資源や電力が制約になる可能性もある。完全な自己改善が目前にあると決めつけることも、実現が不確かだから今の制度で足りると考えることもできない。
停止条件の比較から導けるのは、各社が安全を重視すると宣言するだけでは、全体の速度は決まらないという点だ。他社が追いついたときも同じ基準を守るのか。AI自身が作った安全性の証拠を、誰が独立に検証するのか。再開に必要な根拠を、開発側と評価側が共有できるのか。これらが決まらなければ、同じ危険を認めた企業同士でも、別々の判断で前進できる。
退職者の警告に対する具体的な回答は、悲観的な確率を否定する声明よりも、競争で不利になっても適用され、第三者が確認できる停止と再開の条件に現れるはずだ。
