今週初め、研究者のJacob Coxon氏がAnthropicを退職した。同氏は、同社と競合他社について「私たちの命を賭けている」と述べている。現Anthropic研究者のEvan Hubinger氏もXへの投稿で、「私たちは、AIが全人類を殺しうると本当に心から信じています」と付け加えた。
Coxon氏は、AIの破滅的リスクを懸念して職を辞した最初の人物ではない。AIが人類を滅ぼしうるという考えは、Nick Bostrom氏の2014年の著書『Superintelligence』や、影響力のあるフォーラム「LessWrong」で提唱されて以来、研究者の間で長く語られてきた。こうした事態がどのように起こりうるかについては多くのシナリオが存在するが、その核心にあるのは、人間より賢いAIが人間の制御から逃れ、人類を滅ぼしうるという考えである。
2024年には、Jan Leike氏とDaniel Kokotajlo氏が、安全性への懸念からOpenAIを退職した。今年に入ってからは、Anthropicの安全性責任者であったMrinank Sharma氏が退職し、「世界は危機に瀕している」と警告した。Alex Turner氏は、Google DeepMindが「殺人ドローン」の使用を認める国防総省との契約に署名したことを受けて同社を去った。
しかし、Coxon氏の退職は大きな波紋を呼んでおり、さらに多くの研究者がAIによって人類が滅びうると考えていることを認めつつある。AIを開発する当人たちがAIによる人類滅亡の可能性を信じているのであれば、なぜ開発を続けるのか。その理由は主に三つある。
リスクに見合う価値があると考える者もいる
AIのリーダーたちは、人類の制御を失い、全人類が死に至るリスクを認めている。2023年、OpenAI、Anthropic、Google DeepMindの各最高経営責任者(CEO)は、AIによる人類滅亡のリスクをパンデミックや核戦争と同列に位置づけるべきだと合意した。Anthropicの Dario Amodei氏は、事態が「本当にひどいことになる」確率を10~25%としている。
それでもAmodei氏は、貧困や病気のない世界を約束しており、Elon Musk氏もAIによる「ユニバーサル・ハイインカム」について語っている。
これが、AI開発を推し進める第一の理由である。すなわち、利益がリスクを上回るという考えだ。それはそうかもしれないが、その判断はより民主的なプロセスを経るべきだという意見もある。
危険性は距離を置いて研究できない、と言う者もいる
第二の理由は、危険なAIを安全にする方法は、実際に作ってみなければ学べないというものだ――宇宙船と同じで、安全性は遠くから研究することもできるが、実際に宇宙へ行ってみなければ本当の意味で検証することはできない、という考え方である。
OpenAIの方針は「反復的デプロイ(iterative deployment)」である。各モデルをリリースし、そこから生じる問題を学び、次のモデルで修正するというものだ。この発想は、崖の縁にできる限り近づいて、飛び降りたらどうなるかを見極めようとするようなものである。
勝者総取りだと感じている者もいる
第三の、そしておそらく最も重要な理由は、競争そのものである。OpenAIのSam Altman氏は「私たちはあらゆる願いを叶える魔神(ジーニー)を生み出す寸前にいる」と最近述べた。
問題は、誰もがそのランプを手にしたがっているということだ――それは莫大な利益をもたらすものであり、各企業は、ライバル企業が自分たちの願いを賢明に使うかどうかその判断力を疑っている。
そのため各社は競争を続ける。自分たちが減速すれば、どのみち他社が先に到達してしまう、それならば「責任ある企業」として自分たちが先に到達したほうがましだ、という理屈である。相互協定を結んだとしても、それが密かに破られるのではないかと懸念する声もある。そのため、各社は前進を続けている。
AIがより優れたAIを生み出す
暴走するAIなど非現実的だと思うかもしれない。しかし、当の企業自身が警鐘を鳴らしているのであれば、私たちはそれに耳を傾けるべきだろう。
AI企業はすでに、各モデルがより優れた後継モデルの開発を助けるという「再帰的自己改善」の兆候を報告している。OpenAIのチーフサイエンティストによれば、モデルは人間がそれを制御する能力を上回るスピードで進化しているという。
7月には、数百人のAI企業従業員が減速を求める公開書簡に署名した。しかし競争の力学ゆえに、一社、あるいは一国だけでそれを実行することは難しい。
典型的な軍拡競争
AI研究は軍拡競争の様相を呈している。OpenAIはAnthropicに負けたくないと考え、米国は中国に負けたくないと考えている。
このような状況をどう管理すべきか、歴史には手本がある。すべてのプレイヤーを拘束するルールと、誰もが検証できる執行の仕組みだ。
核兵器はその典型例である。条約や検証制度は核戦争のリスクを完全になくしたわけではないが、拡散を遅らせる効果があり、80年間にわたって核兵器が紛争で使用されることはなかった。
AIのためのルール
最先端のAI研究の大半が行われている米国では、トランプ政権がAI開発を減速させる兆しはほとんど見られない。
政権発足の最初の週に、従来のAI安全規則を撤廃した。現在は、慎重な姿勢は対中競争での敗北につながると主張し、州レベルの規制を無効化しようとしている。
一部の政治家はこれに反発している。カリフォルニア州は最近、AIシステムの独立した評価を支援する法律を可決した。米国のBernie Sanders上院議員は超知能を禁止する法案を提出し、英国のAlex Sobel下院議員も同様の法案を提出した。
企業側にも動きがある。OpenAIは、8月に自社のAIエージェント群が別のスタートアップをハッキングする事態を受けて、最先端モデルの訓練を一時停止した。同社の政策責任者は現在、安全性とスピードが対立する場合には安全性を優先すべきだと述べている。
それでも、拘束力のあるルールがない以上、私たちは一握りの企業の善意に大きく依存していることになる。
これから何が起こるのか
2025年半ば、研究者たちは、今後数年間を見通すための最良の指針とも言えるものを発表した。それが「AI 2027」と呼ばれる詳細なシナリオである。それ以降、AIの能力は予測よりも速いペースで進歩している。
状況が変わらない限り、安全性を理由に退職した職員たちは単に後任に置き換えられ、AIモデルはより優れたAIモデルの開発を助け続け、各世代はますます監視や制御が難しくなっていくだろう。
この状況に望みはないのだろうか。私は三つの希望を持っている。
第一に、AIが人間の制御から逃れることが、AIの水使用量よりも大きなリスクであると、より多くの人が認識するようになることである。
第二に、政府が国民の声に耳を傾けることである。米国では、国民の3分の2がAIの進展は速すぎると回答している。
第三に、危機が訪れる前に、私たちが十分な計画を用意しておくことである。私の見解では、最良の計画は次のようなものである。すなわち、競争を減速させ、人間による制御を維持するための、遅延、透明性、そして検証である。
世界トップクラスのAI企業の内部関係者たちは、現在の安全対策では不十分だと述べている。彼らが安全性への懸念から職を辞しているのであれば、私たちはその声に耳を傾けるべきである。
