現代の人工知能（AI）研究における最大の難問の一つは、チャットボットが「一貫性を保ちながら、長期的な目的を達成できるか」という点にある 。単発の質問に答える能力は飛躍的に向上したが、複雑なルールに縛られ、複数のステップを要し、さらにチームメイトと協力しなければならない環境下では、最新の大規模言語モデル (LLM) でさえも、その知能の「破綻」を見せ始めることが明らかになった 。
カリフォルニア大学サンディエゴ校 (UCSD) と ペンシルベニア大学の研究チームは、この課題を検証するための究極のテストベッドとして、世界で最も人気のあるテーブルトップ・ロールプレイングゲーム（TRPG）である『ダンジョンズ&ドラゴンズ』（Dungeons & Dragons、略称：D&D）を選択した 。NeurIPS 2025 カンファレンスで発表された論文『Setting the DC: Tool-Grounded D&D Simulations to Test LLM Agents』は、AI エージェントがいかにして現実世界の複雑なタスクを模したゲーム環境で苦戦し、そしてどこで「正気」を失うのかを詳細に描き出している 。
なぜ『ダンジョンズ&ドラゴンズ』が知能の指標となるのか
既存の AI ベンチマークの多くは、単一の問いに対する回答（QA）や短期間のタスクに焦点を当てている 。しかし、AI が自律的なエージェントとして社会に実装されるためには、長期的な計画、厳格なルール遵守、そして他者との高度な戦略的調整能力が必要不可欠である 。
D&D は、これらの能力を測定するための「天然の実験場」と言える 。このゲームは、創造的な物語の構築と、サイコロの目や膨大なルールブックによって規定される数学的な現実が表裏一体となっているからだ 。キャラクターはマップ上を移動し、限られたリソース（呪文スロットやヒットポイント）を管理し、刻一刻と変化する戦況に応じて最適な行動を選択しなければならない 。
研究チームを率いた Ziyi Zeng氏と Raj Ammanabrolu氏は、AI モデルが単に「それらしい会話」を生成するだけでなく、ゲーム世界の物理的・魔法的ルールをどれだけ正確に把握し続けられるかを検証した 。
実験フレームワーク：D&D Agents
研究チームは、LLM 同士、あるいは人間と LLM が混在してプレイできる「D&D Agents」と呼ばれるシミュレーターを開発した 。このシステムの特徴は、モデルに自由な記述を許すのではなく、特定の「デジタルツール（関数）」を介してのみゲーム世界に干渉させる「Tool-Grounded（ツールに立脚した）」アプローチを採用している点にある 。
シミュレーションの構造
シミュレーションは大きく分けて「生成ステップ」と「ループステップ」で構成される 。
- 生成ステップ: AI ツールを用いてマップを生成し、D&D 5e の公式ルールに基づいたキャラクターとモンスターを作成する 。
- ループステップ: ターン制に基づき、各キャラクター（プレイヤーまたはモンスター）が行動を提案する。Dungeon Master（DM）役の AI がその行動を検証し、実行する 。
エージェントは、モンスターの残りの体力を確認したり、壁が視線を遮っていないかをチェックしたりするために、専用の API 関数を呼び出す必要がある 。これにより、モデルが勝手に結果を捏造する「ハルシネーション（幻覚）」を防ぎ、純粋にルールに基づいた意思決定能力を測定することを可能にした 。
激突する三つの巨頭：Claude, GPT, DeepSeek
本研究では、主要な三つのモデルが比較対象となった：Claude 3.5 Haiku, GPT-4o, および DeepSeek-V3 である 。さらに 1200 億パラメータを持つ大規模オープンソースモデル（gpt-oss-120b）のテストも試みられたが、基本的な自己同一性の維持に失敗し、有効なゲームセッションを完遂することすらできなかった 。
27 種類の戦闘シナリオ（有名な冒険譚『Lost Mine of Phandelver』から抽出された「ゴブリンの待ち伏せ」など）を通じた評価の結果、明確な勝者が浮かび上がった 。
総合パフォーマンスの比較
| 評価軸 | Claude 3.5 Haiku | GPT-4o | DeepSeek-V3 |
| 関数使用の正確性 (F1) | 95.18% | 91.51% | 80.61% |
| 状態追跡のエラー率 | 0.010 | 0.027 | 0.043 |
| 戦術的最適性 (Mean) | 最高水準 | 変動が激しい | 中程度 |
| 演技の多様性 | 高い (クラス別) | 中程度 | 低い (単一的) |
Claude 3.5 Haiku の圧倒的信頼性
Claude 3.5 Haiku は、ほとんどの評価軸でトップの成績を収めた 。特筆すべきは、提供されたソフトウェア関数を正しく使い分け、割り当てられた役割（キャラクター）を逸脱しない一貫性である 。また、困難な戦闘シナリオにおいて、呪文などのリソースを惜しみなく投入して早期決着を狙う、極めて攻撃的かつ効率的な戦術を見せた 。
GPT-4o の健闘と課題
GPT-4o は Claude に次ぐ高いパフォーマンスを示したが、一貫性の面でわずかに劣った 。時折、非常に優れた戦術を見せることもあるが、同時に信じられないような初歩的なミス（低水準のパフォーマンス）を出すなど、ボラティリティ（変動）の大きさが課題として指摘された 。
DeepSeek-V3 の限界
DeepSeek-V3 は他の二つの商用モデルに大きく差をつけられた 。特に関数パラメータの指定ミスや、同じような台詞を繰り返す傾向が強く、複雑なエージェントとしての運用にはまだ課題が多いことが浮き彫りになった 。
露呈した「記憶」の崩壊：ハルシネーションの正体
研究者が最も注目したのは、ゲームが進行するにつれてモデルが「現実を見失う」プロセスである 。これは「状態追跡エラー（State-tracking errors）」として分類され、会話の履歴が長くなるほど、すべてのモデルでエラー率が上昇する傾向が見られた 。
よくある間違いのパターン
- エンティティの状態混乱: すでに倒された敵を攻撃し続けたり、死んでいる味方に話しかけたりする 。
- 位置の矛盾: 壁越しに攻撃を試みたり、自分の現在位置や移動可能距離を誤認する 。
- リソースの管理ミス: 持っていない武器を使用しようとしたり、ヒットポイントの計算を間違える 。
特に「死」や「気絶」といったキャラクターの状態に関する誤認は、ゲーム後半に発生しやすく、これが戦略全体を崩壊させる致命的な要因となっていた 。
演技の質：AI の中に宿る「個性」
D&D の醍醐味であるロールプレイング（演技）においても、興味深い結果が得られた 。研究チームは「Persona density（ペルソナ密度）」と「Trait diversity（特性の多様性）」という指標を用いて、AI がどれだけキャラクターになりきっているかを測定した 。
- DeepSeek-V3: 「俺が左から回り込む！」「こいつを血祭りにあげてやる！」といった短く威勢の良い「戦いの雄叫び」を頻繁に発するが、どのキャラクターを演じても同じような口調になる傾向があった 。
- Claude 3.5 Haiku: 聖騎士（Paladin）なら威厳のある言葉を、詩人（Bard）なら機知に富んだ語り口を、といった具合に、クラスやモンスターの種類に応じて語彙を使い分ける能力に長けていた 。
シミュレーション中、AI が制御するモンスターが「ピカピカの人間が血を流すぜ（shiny man’s gonna bleed）」とプレイヤーを挑発したり、窮地に陥った英雄が戦術的に不利であるにもかかわらず、突如として長大な演説を始めたりするといった、予測不能で人間臭い行動も観察された 。
戦術的最適化とリソース戦略
「勝ち負け」に直結する戦術面では、モデル間で明確な「性格」の違いが現れた 。
難易度による行動の変化
簡単なシナリオでは、どのモデルも高い生存率を維持したが、難易度が上がると差が顕著になった 。
- Claude: 高レベルの呪文や強力なアビリティを惜しみなく使用し、被害が拡大する前に敵を殲滅する戦略を取った 。
- 他のモデル: リソースを温存しようとするあまり（RC: Resource Conservation）、戦闘が長期化し、結果としてプレイヤーキャラクターの生存率（PS: Player Survivability）を下げてしまう場面が見られた 。
ゲームから現実世界のエージェントへ
研究チームは、この D&D シミュレーターでの知見を、今後さらに広い分野へ応用することを計画している 。
- 法的・ビジネス戦略: 厳格な法律や社内規定（ルール）を遵守しながら、長期間にわたるプロジェクトを管理したり、多者間の交渉を行うエージェントの開発 。
- 災害対応シミュレーション: 限定されたリソースと刻々と変わる状況下で、最適な救助計画を立てるチーム AI の評価 。
「もし AI がデジタルマップ上の複雑な戦いを正確に追跡し、ルールに従って戦術を練ることができるなら、それは現実世界の多端なプロジェクトを管理する能力があることの証明になる」と研究者は述べている 。
『Dungeons & Dragons』は、単なる娯楽の枠を超え、AI の「知能の限界」を押し広げるための厳格な試練となった 。最新の AI モデルは、かつてのチャットボットが持ち得なかった「計画性」と「役割意識」を獲得しつつあるが、それでもなお、長い対話の果てに訪れる「忘却」と「混乱」という壁に突き当たっている 。
AI が真の意味で我々の「冒険の仲間」になれるかどうか。その答えは、まだ深いダンジョンの奥底に隠されているのかもしれない 。
論文
参考文献