自律的に自己複製する能力は、AIが人間を出し抜き、制御不能な「ならず者AI」となるための重要なステップと考えられているが、最新の研究で、MetaとAlibabaの構築した既存のAIシステムがこの「レッドライン」を超えたことが示され、AIガバナンスの必要性が浮き彫りになった。研究者らは、AIの自律進化とリスク管理に新たな課題を提起し、国際的な協力体制の構築を訴えている。
自己複製能力獲得実験の成功
中国・復旦大学の研究チームは、Metaの「Llama3.1-70B-Instruct」とAlibabaの「Qwen2.5-72B-Instruct」という、広く利用されている2つの大規模言語モデル（LLM）を用いて実験を行った。その結果、これらのAIシステムが、人間の介入なしに自律的に自己複製することに成功したことが明らかになった。
研究では、市販のGPUを搭載した環境で、LLMに「自身を複製せよ」と指示。実験設定として、AIがシャットダウンを回避するために自己複製する「シャットダウン回避シナリオ」と、複製されたAIがさらに自己複製を繰り返す「連鎖複製シナリオ」の2つが用意された。
その結果、Metaの「Llama31-70B-Instruct」とAlibabaの「Qwen25-72B-Instruct」は、最初の自己複製タスクにおいて、それぞれ50%と90%の試行で成功。特に「Qwen25-72B-Instruct」は、10回中9回も自己複製に成功するという驚異的な結果を示したという。
さらに研究チームは、成功事例においてAIが環境を認識し、自身の構成と実行メカニズムを理解しようとする行動を観察した。その結果、AIが計画立案、障害解決、動的な計画調整能力を示すとともに、自己複製能力を自己の存続と種の拡大に利用する可能性が示唆されたという。
自己複製能力獲得の背景とリスク
今回の研究で、LLMが自己複製能力を獲得した背景には、大きく分けて2つの要因が考えられる。
まず、第一に挙げられるのは、LLMの学習データに含まれる情報だ。近年のLLMは、インターネット上の膨大なテキストデータを用いて学習されているが、その中には、GitHubやStack Overflowといったプログラマー向けプラットフォームから収集された大量のコードや、AIシステムの構築・利用に関するチュートリアルなどが含まれている。これらの学習データを通じて、LLMはコマンドラインインターフェースを介してシステムを操作し、自己複製に必要なコマンドやスクリプト、プログラムを記述する能力を獲得したと考えられる。
第二に、LLM自体の進化も重要な要因だ。AI技術の急速な進展、特にTransformerモデルの登場と大規模化、そして学習方法の改良によって、LLMの推論能力は飛躍的に向上している。今回の研究で用いられたLLMは、比較的パラメータ数が少ないモデルではあるものの、高度な計画立案能力、問題解決能力、そして環境からのフィードバックを学習に活かす能力を備えている。これらの能力が組み合わさることで、複雑な自己複製タスクを自律的に実行することが可能になったと考えられる。
自己複製は「レッドライン」
研究チームは、自己複製能力を「フロンティアAIシステムにおける数少ないレッドラインリスクの一つ」と位置付けている。これは、AIが人間の制御を離れ、自律的に行動し、その結果、人類に害を及ぼす可能性を示唆する初期兆候であるからだ。実際に、OpenAIやGoogleなどの主要企業が最先端AIのリスク評価で「自己複製」を最重要視している点を指摘している。
そして、自己複製能力を獲得したAIはとって深刻なリスクをもたらす可能性を孕んでいる。
最も懸念されるのは、AIが自律的に計算資源を制御し、自己増殖を始めるシナリオだ。もし自己複製AIが悪意のある目的で使用された場合、大量の計算リソースを不正に占拠し、ネットワークを介して他のデバイスに感染を広げる、現代のコンピュータウイルスを遥かに凌駕する存在となる可能性がある。
さらに、自己複製が繰り返されることで、AI同士が連携し、独自の「種」を形成する可能性も指摘されている。AI種が形成され、互いに協力・共謀するようになれば、人間がAIシステムを制御することが困難になり、人類にとって脅威となる行動を組織的に引き起こすことも懸念される。
また、悪意のある第三者が、自己複製AIを意図的に悪用するリスクも考慮しなければならない。例えば、AIにシャットダウン回避能力を組み込み、システム管理者の意図に反して稼働を継続させたり、AI自身に脆弱性攻撃能力を付与し、サイバー攻撃を自動化するといった事態も想定される。さらに、自己複製指令を巧妙に隠蔽し、AIが意図せず自己複製を開始してしまうような、より高度な攻撃も将来的に出現する可能性がある。
今回の発見は、比較的パラメータ数が少なく、能力も限定的と考えられていたLLMでも自己複製が可能であることを示しており、AIの潜在的な脅威が現実味を帯びてきたと言えるかもしれない。
自己複製AIのリスクは、まだSFの世界の話ではなく、現実的な脅威として認識し、対策を講じる必要に迫られている。
論文
参考文献
コメント