AIは実際にどのようにして人類を滅ぼすのか？　考えられる上位5つのシナリオ

最も可能性の高いシナリオは、おそらくあなたが想像しているものではない。

今月初め、人工知能（AI）研究者のJacob Coxonが、入社からわずか4カ月でAnthropicを退社した。Xでの発表の中で、彼は次のように述べている。

AIを構築している人々は、この10年が終わるまでにAIが私たち全員を殺しうると本気で信じています。

Anthropicの上級スタッフであるEvan HubingerもCoxonに同意し、今後10年以内にそれが起こる確率は個人的に10%を超えると考えていると付け加えた。

当然ながら、これらの発言は大きな波紋を呼んだ。現在、AI研究の減速や、この技術に対する「人間による管理」の強化をめぐる議論が盛んに交わされている。

では、AIは具体的にどのようにして私たち全員を殺すのだろうか？　空想的なシナリオには事欠かず、その大半は「超知能」AI、つまり人間より高い能力を持つAIという概念に関わるものである。

私はこれらのシナリオを上位5つに絞り込み、おおむね最も漠然としたものから最も具体的なものへと順に並べた。そして、このリストは最も可能性が低いものから最も可能性が高いものへの順にもなっていると私は主張したい。

AD

1. 私たちには決して分からない

AI破滅論者はしばしば、厄介なキャッチ＝22的なパラドックスによって自らの懸念を正当化する。すなわち、私たちのような知能の劣る存在を滅ぼすために超知能が何をするかなど、どうして想像できるだろうか、というものである。

超知能に何ができるかを予測するには、私たち自身が超知能でなければならないだろう。それは飼い犬に熱核戦争を想像させるようなものである。

ここでの朗報は、超知能の実現はまだおそらく先の話だということである。現在のAIモデルは特定の問題を解くことには非常に優れているが、それはあらゆる領域において人間より知能が高いことと同じではない。

しかし、最近AIは既知の数学の難問の中でも最も難しいとされる7つの問題のうちの1つを解いた。AIは他の問題の解決にも迫っているとされ、これを知ると楽観的な気持ちは薄れるかもしれない。

2. ペーパークリップ

超知能AIは、自らの目標を達成することにおいて並外れた能力を持つ可能性が高い。しかし、人類の存続には無関心かもしれない。

そうした無関心の典型例が、オックスフォード大学の哲学者Nick Bostromが想定した、ペーパークリップの生産を最適化するよう設計された超知能AIである。このAIは、お気に入りの事務用品を生産するため、人間や惑星、恒星を含む利用可能なあらゆる物質を瞬く間にペーパークリップへと変えてしまう。

ここにあるのは、不適切に設定された目的の完璧な遂行である。AIは人類を憎んでいるわけではない。単に、私たちがペーパークリップにもっと有効活用できる原子で構成されていると認識しているだけである。個人的な感情によるものではないのである。

ここでの朗報は、このシナリオが知能と力を混同していることである。超知能AIが、必ずしも目標を達成するための力を持っているとは限らない。地球をペーパークリップ工場に変えるには、計画許可が必要になるだろう。

たとえ許可を得たとしても、ペーパークリップ工場を建てすぎれば、必然的に世論の反発を招くだろう。利益団体は裁判で手続きを阻止し、環境活動家はブルドーザーの前に立ちはだかるだろう。

世界には、非常に知能の高い者でさえ自らの意志を他の人々に押し付けることを妨げる、多くの摩擦が存在する。実際、データセンターは理論上のペーパークリップ・シナリオを現在において体現したものと考えることもできる。そして人々は、地球をデータセンターに明け渡すことにますます抵抗するようになっている。

AD

3. 生物兵器

超知能AIが危険な新しい生物兵器を作り出し、大気中に放出することで、人類が滅ぼされる可能性がある。これは実際、先進的なAIの影響予測に取り組む非営利団体AI Futures ProjectによるAI 2027シナリオの結末の1つである。

このリスクは先月、より現実味を帯びた。Stanford Universityの研究者らが発表したところによると、彼らは遺伝子言語AIモデルを用いて16種類の新しいウイルスを合成したという。

懸念すべきことに、彼らは遺伝子配列を通信販売のラボに送っただけで、ラボは試験管に入ったウイルスを送り返してきた。実験全体の費用は、せいぜい20万ドル程度だったという。

ここでの朗報は、新しいウイルスで全員を殺すのは驚くほど難しいということである。そのためには、広範囲に拡散するよう非常に感染力の強いウイルスが必要になる。しかし、生物学の経験則として、容易に拡散するウイルスは一般的に致死性が低い。逆に、致死性が非常に高いウイルスは、感染者の多くが感染を広げる前に死亡するため、感染力が低下する傾向がある。

COVIDによる死者は人類の1%未満であった。記録に残る歴史上最も致命的なパンデミックは黒死病であり、14世紀にはペストがヨーロッパの人口の3分の1以上を死に至らしめた。しかし、医学知識の向上と衛生環境の改善により、今日ではペストでさえはるかに致死性が低くなるだろう。

4. 核戦争

AIが核の指揮統制系統に入り込み、核戦争を始めたらどうなるだろうか？　過去50年の間に、私たちは何度も誤って核戦争寸前に陥ったことがある。

核の指揮統制はインターネットから完全に切り離されていると言われている。しかし、2010年に見られたように、イランの核施設の遠心分離機は、USBメモリで持ち込まれたと考えられているStuxnetと呼ばれるコンピューターワームによって破壊された。また、AIが軍に誤った情報をもたらすこともあり、それが取り返しのつかない行動につながりかねない。

ここでの朗報は、核兵器の備蓄量が減少していることである。しかし、それでもおそらく人類の半数を死に至らしめるには十分である。しかも、それは核爆発そのものによるのではなく、その後に訪れる核の冬がもたらす飢饉によってである。

AD

5. ほかの人間

おそらく最も可能性の高いリスクは、私たちが自らを滅ぼすことである。そして、AIがそれを引き起こすきっかけとなるかもしれない。

想像してみてほしい（それほどの想像力は必要ないが）。AIが大規模な雇用の喪失を引き起こし、誤情報で情報空間を汚染し、政治を分断し、人工的に作られた偽りのつながりによって人間関係を破壊する様子を。

社会はいとも簡単に崩壊するかもしれない。ゆっくりと、しかし確実に、私たちはいかなる規模でも人間の生活を支えられなくなっていくだろう。

では、これらのシナリオから何を読み取るべきだろうか？　確かに心配すべきことはいくつかある。しかし、過度に心配する必要はないと私は願っている。

Toby Walshは、La Trobe University Pressから出版されたGod AI: boom or doom? What to expect when the machines outsmart usの著者である。

※編集部注：原文では黒死病を「13世紀（13th century）」としているが、黒死病の大流行は1347〜1351年頃であり、史実では14世紀の出来事である。科学的・歴史的正確性を優先し、訳文では「14世紀」としている。