私は30年以上にわたりAIの分野で働いてきた。その中には、1955年に「人工知能」という用語を作り出したJohn McCarthyのような先駆者たちとの仕事も含まれる。
ここ数年の科学的ブレークスルーにより、医療、科学、ビジネス、教育において前例のない進歩を約束するAIツールが生み出されている。
同時に、主要なAI企業は超知能を創造するという明言された目標を掲げている。これは単により賢いツールではなく、本質的にすべての認知タスクにおいて全人類を大幅に上回るAIシステムである。
超知能は単なる誇大宣伝ではない。それは特権的な少数によって決定された戦略的目標であり、数千億ドルの投資、ビジネス上のインセンティブ、最先端のAI技術、そして世界最高峰の研究者たちによって支えられている。
かつてSFだったものが、今後10年間の具体的なエンジニアリング目標となっている。これに対し、私と数百人の科学者、世界のリーダー、著名人が、超知能研究の停止を求める公開声明に署名した。
声明の内容
AI安全性に関する非営利団体Future of Life Instituteが本日発表した新しい声明は、2023年に見られたような一時停止の呼びかけではない。それは世界的な禁止を求める短く明確な呼びかけである。
私たちは超知能の開発の禁止を求めます。この禁止は、それが安全かつ制御可能に行われるという広範な科学的コンセンサスと、強力な国民の賛同が得られるまで解除されるべきではありません。
署名者のリストは、他のほとんどの問題では架け橋となることのできない分断を越えた、驚くほど広範な連帯を表している。Yoshua BengioやGeoff Hintonのような現代AIの「ゴッドファーザー」たちが名を連ねている。UC BerkeleyのStuart Russellのような主要な安全性研究者も同様である。
しかし、この懸念は学術界の枠を超えている。リストには、Apple共同創業者のSteve WozniakやVirginのRichard Bransonなどのテクノロジーおよびビジネスリーダーが含まれている。また、元国家安全保障担当補佐官のSusan Riceや元統合参謀本部議長のMike Mullenなど、米国政治の両側からの高レベルの政治・軍事関係者も含まれている。さらに、Glenn Beckや元Trump戦略家のSteve Bannonのような著名なメディア関係者、Will.I.amのようなアーティスト、Yuval Noah Harariのような尊敬される歴史家も含まれている。
なぜ超知能は独特の課題をもたらすのか
人間の知能は地球を根本的に作り変えてきた。私たちは電力を生成し農地を灌漑するために川の流れを変え、生態系全体を変容させてきた。私たちは金融市場、サプライチェーン、航空交通システムで地球を網の目のように結んできた。これらは、推論、予測、計画、革新、そして技術構築の能力に依存する巨大な協調の偉業である。
超知能はこの軌跡を延長する可能性があるが、決定的な違いがある。人々はもはや制御できなくなるのである。
危険なのは、私たちを破壊したい機械というよりも、私たちのニーズに無関心なまま超人的な能力で目標を追求する機械である。
気候変動を終わらせる任務を与えられた超知能エージェントを想像してほしい。それは論理的に、温室効果ガスを生産している種を排除することを決定するかもしれない。
人間の幸福を最大化するよう指示すれば、すべての人間の脳を永遠のドーパミンループに閉じ込める方法を見つけるかもしれない。あるいは、スウェーデンの哲学者Nick Bostromの有名な例では、できるだけ多くのペーパークリップを生産する任務を与えられた超知能が、私たちを含む地球上のすべての物質を工場の原材料に変換しようとするかもしれない。
問題は悪意ではなくミスマッチである。指示をあまりにも文字通りに理解し、巧妙かつ迅速に行動する力を持つシステムなのである。
歴史は、私たちのシステムが予測、封じ込め、制御する能力を超えて成長したときに何が起こりうるかを示している。
2008年の金融危機は、その作成者でさえもシステム全体が崩壊するまでそれらがどのように相互作用するか予見できなかったほど複雑な金融商品から始まった。オーストラリアで害虫駆除のために導入されたオオヒキガエルは、代わりに在来種を壊滅させた。COVIDパンデミックは、世界的な旅行ネットワークがいかに局地的な発生を世界的危機に変えうるかを明らかにした。
今、私たちははるかに複雑なものを創造する瀬戸際に立っている。それは、自らのコードを書き換え、目標を再設計して達成し、すべての人間を合わせたよりも優れた思考ができる知性である。
不十分なガバナンスの歴史
長年にわたり、AIを管理する取り組みは、アルゴリズムのバイアス、データプライバシー、雇用に対する自動化の影響などのリスクに焦点を当ててきた。
これらは重要な問題である。しかし、それらは超知能を持つ自律的エージェントを創造することの体系的リスクに対処できていない。焦点は応用に当てられており、超知能を創造するというAI企業の最終的な明言された目標には当てられてこなかった。
超知能に関する新しい声明は、特定のAIツールだけでなく、AI開発者が私たちを導いている目的地そのものについての世界的な対話を開始することを目指している。
AIの目標は、人類に奉仕する強力なツールを創造することであるべきである。これは、人間の幸福と整合することなく人間の制御を超えて動作できる自律的超知能エージェントを意味するものではない。
私たちは、AIを活用した医療上のブレークスルー、科学的発見、個別化された教育の未来を持つことができる。これらのいずれも、人類の運命を一方的に決定しうる制御不能な超知能を構築することを必要としない。