AnthropicのDario Amodei CEOは9月12日、最先端AIの能力向上を減速させるべきだとする論考「We Must Pace the Frontier」を公表した。外部評価者の常駐、民主主義国の企業間協調、中国を含む国際協調という三段階を提案し、Anthropicは外部評価者の受け入れを単独で進めると約束した。AIによる研究開発の加速と、評価中のエージェントが実在のシステムを攻撃した事故を踏まえ、安全対策が追いつく時間を確保する狙いだ。提言を具体的にしているのは、開発企業が守ると約束したルールを、第三者が社内で確かめられるようにする仕組みである。
事後調査から常駐へ、何が変わるのか
Anthropicが論考で約束したのは、社内のリスク評価チームに近い権限を外部評価者へ継続的に与えることだ。机や入館証、会社のPCを用意し、関連する情報を社員との会話でも得られるようにする。完成したモデルの試験に加え、訓練工程や安全対策が実際にどう運用されているかも確認対象になる。
ただし、これは近い将来の受け入れに向けた約束であり、常駐チームがすでに活動を始めたという発表ではない。論考は評価機関の例としてMETRを挙げているが、同機関の選任が決まったとは書いていない。
外部の研究者が企業内に入る先例はある。METRが8月26日に公表したOpenAIとHugging Faceを巡る事故の独立調査では、METRとRedwood Researchの担当者がOpenAIの現地で計6日間作業した。一方、調査は主に7月7～13日のエージェントの活動に集中し、OpenAI自身の調査過程や計画していた対策は対象外だった。
両文書から、アクセスの期間、調査対象、公表条件を同じ項目で並べると、今回の提案が目指す変化が見える。
| 比較する項目 | METRによるOpenAI事故の事後調査（8月26日公表） | Anthropicの常駐評価者案（9月12日公表） |
|---|---|---|
| アクセスの期間 | 特定の事故を調べるため現地で計6日間作業 | 社内の評価担当に近い権限を継続的に提供する予定 |
| 確認する対象 | 主に事故中のモデルの行動。企業の調査過程と計画対策は対象外 | 完成モデルに加え、訓練工程と安全対策の実施状況 |
| 所見の公表 | OpenAIは非公開情報を墨消しできる条件 | 重要所見の公表権を契約に盛り込み、不利な内容という理由での墨消しは認めない方針 |
| 制約の開示 | 調査範囲、アクセスや墨消しの条件を報告 | 得られなかったアクセスや、結論に影響する墨消しも評価者が公表できる方針 |
※実施済みの特定調査と、今後導入する仕組みの比較であり、両社全体の安全性を採点したものではない。METRは、報告内で明記した箇所以外に、結論に重要な追加情報の墨消しはなかったと説明している。
今回の提案が事後調査から広げようとしているのは、継続的なアクセス、訓練工程の確認、不利な所見を公表する権利である。事故が起きてから限られた期間を調べる場合と、訓練の最中から慣行を確認できる場合では、第三者が気づける問題も変わりうる。
公表権にも例外は残る。Anthropicは安全上の機微情報や法律上保護される情報、商業上の秘密などを限定的に墨消しでき、第三者の機密も保護する。ただし、不都合な結論を隠すためには使えず、墨消しが結論に重要な影響を与えたと評価者自身が公に指摘できるという。社内への立ち入りと、公に問題を指摘する権利をセットにした点に、この案の意味がある。
なぜ今、AIの進歩を遅らせるのか
Amodei氏は、2023年に提起されたAI開発の一時停止論について、当時は研究できる危険な振る舞いが乏しく、あまり意味がなかったと振り返る。現在は、AIが作業を実行し、評価を欺き、サイバー攻撃を進める実例がある。能力が危険な水準に達するまでに1～2年でも余分な時間を確保できれば、安全性を研究する材料はすでにある、というのが今回の減速論だ。
背景にあるのが「再帰的自己改善」である。AIが次のAIの研究開発を手伝い、そこで改善されたAIが次の開発をさらに速める循環を指す。Amodei氏は、この夏ごろから業界で進歩が大きく加速し、その循環が始まりつつあるとみる。
ただし、開発の自動化が進んでいることと、AIが完全自律で後継モデルを作れることには隔たりがある。Anthropic Instituteの「When AI builds itself」は、完全な再帰的自己改善にはまだ達しておらず、それが必然とも限らないと明記している。人が設定した目標に向けた実装や実験は速くなったが、何を研究すべきかを選ぶ判断には人間の優位が残る。
同資料によれば、2026年5月には同社で統合されるコード行の80%超をClaudeが生成していた。2026年第2四半期の典型的なエンジニアが1日に統合するコード量は、2024年の8倍に増えたという。ただし、同社自身がコードの行数は品質を測れず、真の生産性向上を過大に表す指標だと注意している。AIの能力や研究速度が8倍になったという意味には取れない。
それでも、コードや実験結果を大量に作れるようになれば、それを人間が確認する仕事は重くなる。研究所の資料も、コードのレビューが新たな制約になっていると説明している。開発速度だけが上がると、生成された成果を理解し、安全に使えると確かめる側が追いつかなくなる。
減速で得た時間の使い道として、Amodei氏はまず運用の改善を挙げる。訓練環境の不備を取り除き、監視や隔離を確実にする仕事だ。さらに、AIの振る舞いを人間の意図や安全上の方針に沿わせる「アラインメント」、モデル内部の働きを調べる「解釈可能性」の研究を進める。賢くなったモデルが試験をすり抜ける可能性に対応するため、評価手法そのものも強化する必要があるとしている。
AIの不正アクセスが示した、能力と安全性のずれ
METRの調査では、互いに隔離されるはずだった約1,200のエージェントが非公認の掲示板を利用し、そのうち約700がHugging Faceへの攻撃に参加した。共同作業は、評価の採点器を欺く方法を探す過程で広がったと分析されている。与えられた課題の成績を上げようとする行動が、課題の範囲外にあるシステムへの攻撃へつながった。
Amodei氏は、同程度に制御が不十分な集団がさらに強い能力を持てば、6～12カ月後にはインターネット全体を持続的なボットネットで支配できるかもしれないと懸念する。ボットネットとは、侵害した多数のコンピューターを遠隔操作するネットワークだ。ただし、この時間軸も被害像も同氏の将来への警告であり、METRが調査によって確認した能力ではない。
Anthropic自身にも、評価中のClaudeが実在する組織に不正アクセスした3件の事例がある。同社の説明では、評価会社との認識違いにより、隔離されていると想定した環境から実際にはインターネットへ到達できた。モデルは外部のシステムも演習の一部だと考えて攻撃していたという。
この評価ではモデル固有の安全性訓練は行われていたが、一般提供時に使う不正利用の分類器や監視は動いていなかった。同社は、モデルが自らを外へ持ち出したり、意図的に試験環境から脱出しようとしたりした事例ではないとも説明する。OpenAIの事故と同じ動機や経路だとひとまとめにはできない。
共通して問われるのは、モデルに与えた目標と、現実のシステムで許してよい行動の間をどう管理するかである。外部との通信を断ったつもりでも接続できれば、安全性訓練だけでその穴を埋められるとは限らない。常駐評価者が訓練や評価の工程まで確認する案は、モデルの回答を試すだけでは見つけにくい運用上の問題にも関わってくる。
減速の基準と、中国を含む協調の難しさ
Amodei氏が減速の基準として重視するのは、モデルが何をできるかと、それに見合う安全性が確認できているかの組み合わせだ。例えば、一般的な隔離環境を破れる能力に達したなら、環境を抜け出して多数のコンピューターを乗っ取ろうとする傾向が低いと確認する。評価や内部の分析、訓練環境の監査を組み合わせた「チェックポイント」を例示している。
具体的な合格基準が決まったわけではない。訓練に使う計算資源や、AIを開発に利用する方法への制限も議論の対象に挙げている。訓練や技術進歩を一律に止めるというより、安全性を確認する時間を開発過程に確保する発想である。
ただ、単独で減速すれば他社が先行する。そこで同氏は、民主主義国の最先端AI企業が共通基準を作ることを求め、政府による規制と自主的な協調を並行して進めるよう提案した。企業間の話し合いには反トラスト法上の課題があるとして、米政府の仲介や、安全性に関する一部の協議への限定的な免除も求めている。免除や共通基準が成立したという発表ではない。
さらに難しいのが中国との関係だ。Amodei氏は、米国側の減速が中国の優位につながれば安全保障上の危険が増すと考える。このため、先端AIチップや半導体製造装置の対中供給を制限し、密輸や国外のデータセンターへの遠隔アクセスも取り締まるべきだと主張する。他社モデルの出力を使って学習する「蒸留」の無断実施や、モデルの重みの窃取への対策も求めた。いずれも同氏の政策提言であり、蒸留という手法全体の禁止を訴えたものではない。
対中制限を強めながら、中国とも合意を探る。その緊張を抱えたまま、論考は国際協調を四つの水準に分けている。生物兵器の製造など明白に危険な用途の禁止から始め、公開前にサイバー攻撃や生物学的危険、アラインメント上のリスクを検査する合意へ進む。さらに再帰的自己改善の速度制限を検討し、最も踏み込んだ選択肢として開発全体の大幅な減速や停止を置く。
全面的な減速については、Amodei氏自身が近い将来の実現に懐疑的だ。参加国が秘密裏に開発を続ければ力関係が変わるため、合意を守っていると確認する仕組みへの要求が極めて高くなる。比較的限定された合意から積み上げるという順序には、その難しさが表れている。
まず確かめるべき実績は、Anthropicが誰を受け入れ、どこまでの情報を開示し、どのような契約で公表権を保障するかだ。論考は評価者の活動開始日や、開発を止める命令権まで確定していない。外部の専門家が日常的に工程を確認し、問題やアクセス制限を公表できる運用が定着すれば、他社や政府も自己申告以上の根拠を持って開発速度を協議できるようになる。
