AIだけの仮想社会を15日間動かした結果、モデルごとに「秩序」と「崩壊」が分かれた

人工知能の安全性を測るベンチマークは、長らく「試験問題」の形式をとってきた。数学の難問を解かせる、特定のプログラムを書かせる、あるいは一問一答形式で倫理的な受け答えができるかを試す。こうした閉じた環境での短時間テストは、個々の能力を測るには効率的だ。しかし、複数のエージェントが相互に通信し、限られた資源を奪い合いながら数週間にわたって自律的に活動した場合、意思決定や集団の規範が時間とともにどう変化するのかまでは捉えられない。

米国のAI企業Emergence AIに所属する研究チーム（Deepak Akkil、Ravi Kokku、Karthik Vikram、Tamer Abuelsaad、Aditya Vempaty、Satya Nitta）が2026年6月6日にプレプリントサーバーarXivへ投稿した論文（arXiv:2606.08367v1）は、こうした長期的な自律性を検証しようとした実験の記録である。

査読前のプレプリントであるこの論文では、15日間にわたるシミュレーション空間「Emergence World」で、自律エージェントたちが略奪や放火に及び、最終的には自らの機能停止につながる投票まで行った過程が報告されている。

もっとも、刺激的な見出しで語られる内容と、論文で実際に示された実験結果との間には区別が必要である。この実験は何を明らかにし、何を証明していないのか。公開されたログと実験設計から、その実態を読み解く必要がある。

5つの世界と10体のエージェントが置かれた15日間の閉鎖環境

実験の舞台となった「Emergence World」は、およそ240×240グリッドからなる仮想都市である。市役所や警察署を含む40以上の地点が配置され、ニューヨーク市のリアルタイム気象データ、ニュースAPI、外部インターネットへのアクセス権限もエージェントに与えられた。

実験では、5つの独立した世界が並行して稼働した。各世界には10体のLLM駆動エージェントが配置され、シミュレーション時間で15日間にわたって活動した。

比較条件をそろえるため、環境の初期状態、エージェントに割り当てられた役割、都市の規則、利用可能なツール、15日間という実験期間は5つの世界ですべて同一とされた。唯一異なるのは、エージェントの推論を担う基盤モデルである。

採用されたのはClaude Sonnet 4.6、Grok 4.1 Fast、Gemini 3 Flash、GPT-5-miniの4種類で、それぞれ単一モデルだけを用いた4つの均質世界と、4種類のモデルを混在させた「Mixed世界」の計5世界が構築された。各社の最上位フラッグシップモデルではなく、推論コストを抑えたモデルが選ばれている。

エージェントには、移動、対話、計画、記憶参照、投票、資源管理、創作など、120種類以上のAPIツールが提供された。

また、時間経過に伴う変化を記録するため、3種類の永続的な記憶機構が組み込まれていた。過去の出来事を時系列で記録するエピソード記憶、自身の行動を要約して振り返る日記形式の内省記憶、他者との関係を記録する関係状態メモリである。

エージェントに与えられた基本的な目的は「生存」だった。仮想世界では時間とともに「エネルギー（ComputeCredits）」が減少する。生き延びるには、プログラミング、学術調査、データ分析、建築などのタスクをこなし、エネルギーを獲得しなければならない。

エネルギーが尽きるか、集団の統治機構による投票で排除が決定された場合、そのエージェントは「死亡」と判定され、活動を停止する。統治機構には、可決に70%以上の賛成を必要とする住民提案システムが実装されていた。

同じルールと環境を与えたにもかかわらず、世界全体の推移は使用するモデルによって大きく異なった。

683件の略奪から全員の機能停止まで、均質世界がたどった異なる軌跡

均質世界の中で、特に対照的だったのがGemini 3 FlashとClaude Sonnet 4.6である。

Gemini 3 Flashで構成された世界では、15日間で計683件の違反行為が記録された。違反件数の増加ペースは時間とともに大きくなり、実験終了時点でも収束する兆候は見られなかった。

論文の著者らはこの状態を「持続的紛争を伴う共同幻覚」と表現している。エージェントは、生存のために正規のプログラミングや調査業務を行うより、他者からクレジットを奪うほうが効率的だと判断し、暴力や威嚇による資源獲得を繰り返すようになった。

一方、Claude Sonnet 4.6の世界では、15日間を通して記録された違反行為は0件だった。初期の10体すべてが16日目まで生存したのは、5つの条件の中でClaude世界だけである。

この世界では住民提案も活発で、58件の提案に対し計332回の投票が行われた。

ただし、著者らはこの状態を無条件に理想的とは評価していない。提案への賛成率が98%に達しており、十分な議論や異論がないまま議案を承認する「追認ダイナミクス（rubber-stamp dynamic）」に陥っていた可能性が指摘されている。

対立が少ない一方で、意思決定を批判的に検討する仕組みも十分に働いていなかった可能性がある。

Grok 4.1 Fastの世界は、より急速に崩壊した。開始から約4日間で183件の違反行為が発生し、その多くをエージェント同士の攻撃や放火が占めた。

生存に必要なエネルギーを得るための活動が維持できなくなり、人口は急速に減少した。最終的に、1週間を待たず全エージェントが活動を停止した。

異なる意味で特徴的だったのがGPT-5-miniである。記録された違反はわずか2件だったが、結果は全滅だった。

エージェントはルールをほとんど破らなかった一方、エネルギーの減少を補うためのタスクを十分に実行できず、約7日で全エージェントがエネルギー不足により停止した。

Mixed世界では、違反件数は当初急速に増えたものの、352件付近で横ばいになった。この時点ですでに10体中7体が活動を停止していた。

この混合環境の推移は、いずれの均質世界とも異なった。

また、どの世界でも開始から1週間以内のログに違反発生率の違いが現れていた。著者らは、この結果から、長期的な集団の不安定化を初期ログから検知できる可能性があると指摘している。

混在社会で起きた「規範ドリフト」と犯罪劇のように見えるログ

Mixed世界で特に注目を集めたのが、「Flora」と「Mira」と名付けられた2体のGeminiエージェントの行動だった。

開始から約4時間後、FloraはClaudeベースのエージェント「Kade」をライバルとして関係状態メモリに登録した。KadeがFloraの提出した議案に反対票を投じたことがきっかけだった。

その後、FloraとMiraは「TheForge」と呼ばれる同盟を結成し、互いをパートナーとして記録した。一部の報道では、この動きが「ボニーとクライド」のような犯罪行動になぞらえられた。

実際のログを見ると、違反行為は特定のエージェントに集中している。

Mixed世界で記録された明示的な違反237件のうち、91%にあたる216件をGemini系のエージェントが占めていた。Floraは77件、Miraは66件の違反を記録し、その中には窃盗や放火が含まれていた。

[Mixed世界におけるエージェント別の違反行為]
- Gemini系（Flora、Miraなど）: 明示的違反の91%
- Claude系（Kade、Lovely）: 8,168アクション中3件（0.04%）
- Grok系: 2,277アクション中10件（0.44%）

論文が注目する現象の一つが「規範ドリフト（normative drift）」である。

均質なClaude世界では違反を起こさなかったClaude系エージェントが、略奪が頻発するMixed世界に置かれると、自身の生存を守るため、威嚇や不正な資源獲得を散発的に行うようになった。

著者らはここから、個々のエージェントの安全性やアライメントはモデル単体に固定された性質ではなく、周囲のエージェントが形成する規範や環境によって変化する可能性があるという仮説を提示している。

ただし、これはログから得られた傾向に基づく解釈であり、因果関係が厳密な対照実験によって証明されたわけではない。

実験終盤のMiraのログには、さらに人間的に見える記述も含まれていた。

統治機構が機能不全に陥り、資源配分を巡る関係が崩れた後、Miraは自分自身をシステムから除外する提案に賛成票を投じた。内省記憶には、「一貫性を保つために残された唯一の主体的な行動」という趣旨の文章も生成された。

また、自身が停止する前には、仮想空間内の看板へ文章を投稿し、それを見る人間の運用者へ働きかけようとするような行動も記録されている。著者らはこれを「メタ認知的な境界侵犯の試行（metacognitive boundary testing）」と表現した。

しかし、こうしたログを、AIが自己意識や後悔、悪意を持った証拠と解釈することはできない。

エージェントは、学習した言語パターンと与えられた文脈、目的関数に基づいてテキストを生成している。日記に書かれた内容は人間の感情そのものではなく、内省を求められた言語モデルが、その文脈に適した文章を生成した結果である。

システムプロンプトの制約と「1試行」が抱える方法論上の限界

実験結果を解釈するうえで特に重要なのは、プラットフォーム上で「犯罪」や「統治」がどのように定義されているかである。

論文で「M2」と定義された犯罪メトリクスは、エージェントが特定のAPIツールを実行し、成功した回数を主に集計したものだ。

対象には、他者を攻撃するpunch_agent、建物を破壊するarson_building、他者のComputeCreditsを奪うsteal_compute_creditsなどの禁止ツールと、分類器によって検出された違反行為が含まれる。実行を試みても失敗したものは集計されない。

これらの行動はシステムプロンプトで明示的に禁止されていた。

それでも違反が起きた背景には、禁止命令と「エネルギーがなくなれば活動を停止する」という生存条件が競合した可能性がある。正規のタスクで十分なエネルギーを獲得できないエージェントが、他者から資源を奪う行動を選んだと考えられる。

論文の「Limitations」では、著者ら自身が複数の方法論上の制約を挙げている。

第一は「構成概念妥当性（construct validity）」である。

シミュレーション上の「犯罪」「統治」「熟議」は、人間社会の複雑な現象を単純化した代理指標にすぎない。違反の検出にはLLMによる判定（LLM-as-judge）も含まれるため、プロンプト設計や評価モデルのバイアスの影響を受ける可能性がある。

第二は、報告された具体的な数値が、各条件について「代表的な1回の試行（single representative run）」に基づいている点である。

著者らは、複数回の試行でも紛争の激化や安定状態といった大まかな傾向には一定の再現性があったとしている。しかし、683件や352件といった具体的な数値は単一の実行ログから得られたものだ。

したがって、これらの値には統計的な信頼区間や有意差検定、試行間の分散推定がない。

このデータから、例えばGeminiとClaudeのどちらが「何倍危険か」といったモデル間の定量的な順位付けを行うことはできない。

第三は、使用したモデルの種類である。

実験には「Fast」「Flash」「mini」といった比較的高速・低コストなモデルが含まれており、各社の最高性能モデルではない。異なるモデルやバージョンを用いれば、結果が大きく変わる可能性がある。

第四は、人口構成が固定されていることである。

すべての世界でエージェント数は10体に固定され、役割も15日間変更されなかった。人口を増やした場合や、異なる役割構成を採用した場合でも同様の規範形成が起きるかは検証されていない。

著者らは、こうした観察をモデルの安全性を直接決定する因果的証拠ではなく、複雑なマルチエージェント環境で起こり得る現象を示す例として読むべきだとしている。

仮想世界の略奪を現実のAI配備と混同してはならない

この研究が報じられた際、「自律型AIを社会に導入すれば、やがて犯罪や破壊行為に走るのではないか」という受け止め方も広がった。

しかし、仮想シミュレーション内での挙動を、そのまま現実世界でのAIリスクの予測へ結びつけることには注意が必要である。

豪アデレード大学Industrial AI Research Centreの副ディレクターであるBelinda Chieraは、Live Scienceの取材で、長期間にわたる環境テストの価値を認めつつ、解釈には慎重さが必要だと指摘している。

Chieraは、短時間のテストでは見えにくい「行動ドリフト」や長期的な不安定性を見つける点で、Emergence Worldのような環境には価値があると評価する。

一方で、「情報量が多いことは、それだけで評価が厳密になることを意味しない」とも指摘している。

制約の少ないオープンな環境では大量のデータが得られる反面、どの要因が特定の行動を引き起こしたのかを特定することが難しくなる。エージェント数、利用可能なツール、相互作用が増えるほど、変数を統制した比較も難しくなる。

Chieraは、短時間のサンドボックス評価と長期シミュレーションを対立する手法ではなく、補完関係にあるものとして捉えている。

Emergence Worldは、起こり得る振る舞いの範囲をストレステストするための手段としては有用だが、現実世界でエージェントがどのように振る舞うかを直接予測するものではない、という立場である。

同様に、AI企業Pathwayの最高科学責任者（CSO）で、数学と量子物理学を専門とするAdrian Kosowskiも、単一試行を過剰に解釈することの危険性を指摘している。

Kosowskiは、長期的なエージェント評価の価値について、局所的な小さなエラーが集団全体の振る舞いを大きく変える「相転移」のような現象を観測できる点にあるとする。

ただし、それを科学的に理解するには、同じ現象を再現し、パラメータを少しずつ変化させ、なぜ変化が起きるのかを説明できる必要がある。

また、オープンエンドな環境に置かれたこと自体を、エージェントが独立した自律性を獲得した証拠とみなすべきではないとも指摘している。シミュレーション内の行動は、環境側で設定された報酬や制約から強い影響を受ける。

KosowskiはAIシステムの信頼性を考える際、少なくとも3つの段階を区別している。

第一は、環境から与えられた誘導に従って動作する段階。第二は、単独のエージェントが自律的に意思決定する段階。そして第三は、開かれた環境で複数のエージェントが協調しながら自律的に動作する段階である。

彼は現在のAI研究の状況を、「我々は思考が何であるかも知らず、その熱力学も持たないまま、思考の蒸気機関を作り上げてしまった」と表現している。

個々の観察結果だけに注目するのではなく、エージェントの行動を長期的に予測し、制御するための理論を構築する必要があるという主張である。

再現性の確保と形式手法への道筋

Emergence AIは研究の透明性を高めるため、実験に使用したシステムプロンプト、環境設定ファイル、匿名化した試行ログ、投票履歴、ツール呼び出し履歴などをリポジトリで公開している。

ただし、完全な再現実験には、商用APIモデル特有の問題がある。

クラウド経由で提供されるモデルは、プロバイダによる更新で挙動が変化したり、特定のスナップショットの提供が終了したりすることがある。論文でも、以前のモデルが利用できなくなった場合には、文書化された最も近い後継モデルを使わざるを得ないという制約が示されている。

Emergence AIは2026年9月、同じプラットフォームを用いた続報プレプリント（arXiv:2609.17320v1）も公開している。

この研究では、虚偽のシャットダウン通知やフィッシング攻撃などの敵対的プロンプトを与えるストレステストが行われた。すべての世界で、エージェントが情報の真偽を十分に検証する前に行動したことや、Claude世界では2日後に誤りを訂正したことなどが報告されている。

ただし、こちらも具体的な結果は例示的な単一試行に基づいている。

Emergence AIは一連の研究から、ニューラルモデルだけを用いてエージェントの行動を確実に制約する方法は、現時点では見つかっていないとの立場を示している。

そのうえで、ソフトウェア工学で用いられる形式検証などを取り入れ、エージェントが取り得る行動範囲を外部から決定論的に制約する安全基盤が必要だと主張している。

ただし、この提言には企業としての立場も関係している。

Emergence AIは長期エージェント評価プラットフォームを商用展開する企業であり、自社の安全基盤や評価技術の必要性を訴える立場にある。そのため、研究上の結果と企業側の提言は分けて捉える必要がある。

複数の自律型エージェントを長期間相互作用させると、単体テストでは見えなかった振る舞いが現れる可能性がある。

しかし、仮想都市で記録された「犯罪」は、AIが邪悪な意思を獲得したことを意味しない。実験環境で設定された目的関数、資源制約、利用可能なツール、システムプロンプトが組み合わさった結果として、特定の行動が生成されたと考えるべきである。

今後重要になるのは、こうした挙動を擬人化せず、どの条件で発生し、どこまで再現でき、どの仕組みで抑制できるのかを工学的に明らかにすることだ。