Google DeepMindが、人工知能（AI）研究における一つの大きな壁を打ち破る可能性を秘めた新たなエージェント「Dreamer 4」を発表した。このAIは、ビデオゲーム『Minecraft』の複雑な世界で、実際にゲームを一度もプレイすることなく、録画された映像から学習した「想像」の中だけで訓練を行い、最難関タスクの一つであるダイヤモンドの採掘に史上初めて成功した。この成果は、AIが現実世界で活動するロボットの訓練方法を根本から変える、革命的な一歩となるかもしれない。
なぜ「プレイしない」ことが重要なのか？AI研究の長年の課題
これまで、AIが特定のタスクを習得するには、膨大な量の「試行錯誤」が必要だった。チェスや囲碁で人間を打ち負かしたAIも、シミュレーションされた環境で文字通り何百万、何千万回もの対局を繰り返すことで、その能力を磨き上げてきた。このアプローチは「強化学習」と呼ばれ、デジタル世界では絶大な成果を上げてきた。
しかし、この手法を現実世界、特に物理的なロボットに応用しようとすると、大きな壁に突き当たる。現実世界でAIロボットに何百万回も試行錯誤をさせることは、時間的にもコスト的にも現実的ではない。さらに、失敗が許されない作業、例えば工場の組み立てラインや家庭での家事支援などでは、一つのミスが物理的な破損や危険に直結してしまう。
この問題を解決するために、研究者たちは「世界モデル」という概念に注目してきた。これは、AIの「頭の中」に、現実世界を模した精巧なシミュレーターを構築するアプローチだ。AIはこの内部シミュレーター、いわば「夢」や「想像」の世界で、安全かつ高速に無数の試行錯誤を繰り返すことができる。これにより、現実世界で危険な試行錯誤をすることなく、最適な行動を学べるというわけだ。
しかし、これまでの世界モデルは、Atariのような比較的単純なゲームの世界を再現するのが精一杯だった。『Minecraft』のような、無限に広がり、物理法則が複雑に絡み合うオープンワールドの環境を、AIが行動を学習できるほど正確にシミュレートすることは、技術的に極めて困難とされてきた。Google DeepMindが発表したDreamer 4は、まさにこの困難な課題に対する一つの答えを示したのである。
Dreamer 4の偉業：想像だけでMinecraftのダイヤモンドを掘る
Dreamer 4が挑んだ舞台は、サンドボックスゲームの金字塔『Minecraft』だ。このゲームでダイヤモンドを手に入れることは、実に複雑な工程を要する。木を伐採して作業台を作り、木のツルハシで石を掘り、石のツルハシで鉄鉱石を採掘し、かまどで鉄を精錬して鉄のインゴットを作り、そして鉄のツルハシでようやくダイヤモンドを掘ることができる。この一連のプロセスは、プレイヤーに20,000回以上もの連続したマウスとキーボード操作を要求する、極めて長期的で複雑なタスクだ。
Dreamer 4は、この一連のタスクを、実際のゲーム環境に一切触れることなく、事前に用意された人間のプレイ動画（オフラインデータ）から学習した世界モデルの中だけで達成した。
評価実験において、Dreamer 4は1,000回の試行のうち0.7%の確率でダイヤモンドの採掘に成功した。 この数字だけを見ると低いように感じるかもしれない。しかし、これは「オフラインデータからの学習のみ」という極めて厳しい制約下で達成された、前例のない歴史的な成果だ。
この成果の画期性を理解するために、先行研究であるOpenAIの「VPT (Video PreTraining)」と比較してみよう。VPTもまた、ビデオから学習する強力なAIだが、ダイヤモンドのような高レベルのアイテムを安定して入手するには至らなかった。 Dreamer 4は、VPTが使用したデータ量の100分の1以下という、遥かに少ないデータでこれを上回る成果を出したと報告されており、その学習効率の高さが際立っている。
DeepMindの研究者、Danijar Hafner氏は次のように語る。「私たち人間は、世界に対する深い理解に基づいて行動を選択し、潜在的な結果を事前に予測します。この能力には世界の内部モデルが必要であり、これによって私たちは新しい問題を非常に迅速に解決できます。対照的に、これまでのAIエージェントは通常、膨大な量の試行錯誤によるブルートフォース（力任せ）で学習していましたが、これは簡単に壊れてしまう物理的なロボットのような応用には不向きです」。 Dreamer 4は、まさにこの「世界の内部モデル」をAIの中に構築し、その中で学習するという、人間のようなアプローチを実現したのだ。
「想像」を支える技術の核心：Dreamer 4は如何にして世界を学ぶか
では、Dreamer 4はどのようにして、これほどリアルで有用な「想像の世界」を構築し、その中で学習するのだろうか。その核心は、いくつかの革新的な技術の組み合わせにある。
ステップ1: 世界のルールを学ぶ（世界モデル構築）
まず、Dreamer 4は、人間がプレイした『Minecraft』の膨大な録画データ（合計約2,500時間）を「鑑賞」する。 これは、AIがひたすら映画を見て、その世界の物理法則や物語の展開パターンを独学するようなものだ。この過程で、AIはピクセルデータの中から、「木を殴ると原木が手に入る」「原木を作業台で加工すると板材になる」「鉄鉱石をかまどに入れると鉄インゴットになる」といった、世界の根底にある因果関係やルールを学習していく。
この世界モデルは、単に次の映像フレームを予測するだけでなく、プレイヤーの「行動（キーボードやマウスの操作）」が、世界にどのような「結果」をもたらすかを予測できるように設計されている。
ステップ2: 効率的な「夢」を見る技術（Shortcut Forcing & 高速Transformer）
ただ未来を予測するだけでは不十分だ。AIがその中で強化学習を行うためには、シミュレーションが超高速かつ正確でなければならない。OpenAIの「Sora」やGoogleの「Veo」のような最先端の動画生成AIは、驚くほどリアルな映像を作り出すが、これらはインタラクティブではなく、生成に時間がかかるため、AIエージェントの訓練用シミュレーター（研究チームは「ニューラルシミュレーター」と呼ぶ）として使うことはできない。
そこでDeepMindは、「ショートカットフォーシング（shortcut forcing）」と呼ばれる新しい学習目的関数と、効率化されたTransformerアーキテクチャを開発した。 これは、例えるなら、未来を1コマずつ描くパラパラ漫画方式ではなく、重要なポイントを予測することで一足飛びに未来の情景を描き出す技術だ。これにより、計算コストを劇的に削減し、予測エラーが積み重なるのを防ぐ。その結果、Dreamer 4の世界モデルは、単一のNVIDIA H100 GPU上で毎秒21フレーム（21 FPS）というリアルタイムでのインタラクティブな推論を実現した。 これは、一般的な動画モデルと比較して25倍以上も高速であり、AIが「想像」の中で何百万回ものロールアウト（シミュレーション）を行うことを可能にした決定的な技術革新だ。
ステップ3: 夢の中で猛練習（想像内強化学習）
精巧かつ高速な世界モデルが完成すれば、あとはその中でAIに猛練習をさせるだけだ。Dreamer 4は、構築した「想像の世界」の中で、ダイヤモンド採掘という目標に向かって、仮想的に行動を繰り返し、報酬（目標達成に近づくこと）を最大化するように自身のポリシー（行動方針）を更新していく。
これは、現実世界で一度も練習することなく、夢の中だけで完璧なピアノ演奏をマスターするようなものだ。AIは安全なシミュレーション環境で、転んでも怪我をせず、コストもかからない状態で、最適な行動シーケンスを効率的に探索することができる。この「想像内訓練（imagination training）」こそが、Dreamer 4がオフラインデータのみで複雑なタスクを達成できた最大の理由である。
驚異のデータ効率：インターネットの映像がロボットの教師になる日
Dreamer 4のもう一つの特筆すべき成果は、その驚異的なデータ効率性にある。
AIの学習において、「行動ラベル付きデータ」（映像と、その時に行われたキー操作やマウス操作が紐付いたデータ）は非常に貴重で、収集コストが高い。一方、YouTubeなどに溢れているゲームプレイ動画のほとんどは、操作ログが付随しない「ラベルなしデータ」だ。
Dreamer 4は、世界の物理法則の大部分を、このラベルなしの動画データから学習できることを示した。論文によると、合計2,541時間の映像データのうち、わずか100時間分の行動ラベル付きデータを与えるだけで、全てのデータにラベルが付いている場合と比較して約85%の性能を達成したという。 ほんの少しの「お手本」があれば、あとは映像を見るだけで、その世界の動き方をほとんど理解できてしまうのだ。
この発見は、ロボティクス分野に計り知れないインパクトを与える可能性がある。現在、ロボットの訓練には、特定の作業をさせるための膨大な量のラベル付きデータが必要だ。しかし、もしDreamer 4のアプローチが応用できれば、インターネット上に無限に存在する「人間が何かをしている動画」（例えば、料理動画や組み立て作業の動画）をロボットに学習させ、世界の物理的な仕組みに関する膨大な一般知識（コモンセンス）を事前に獲得させることができるかもしれない。そして、特定のタスクを教える際には、ごく少量のラベル付きデータを追加で与えるだけで済むようになる。これは、ロボット開発におけるデータ収集のボトルネックを解消する、まさにゲームチェンジャーとなりうる発想だ。
人間も認める「リアルな夢」：シミュレーションの質を検証
Dreamer 4の世界モデルが生成する「想像の世界」は、果たしてどれほど正確なのだろうか。DeepMindは、これを検証するために興味深い実験を行った。人間に、Dreamer 4が生成したシミュレーション環境を実際にプレイしてもらったのだ。
オペレーターは、戦闘、建築、クラフト、乗り物の操作など、16種類の複雑なタスクを、この「想像の世界」の中で実行しようと試みた。その結果、Dreamer 4の世界モデルは16タスク中14タスクで、プレイヤーの意図通りに世界が正しく反応し、タスクを完了させることができた。 これは、Dreamer 4が単にそれらしい映像を生成しているのではなく、ブロックを置く、道具を使う、ボートに乗るといった行動の「因果関係」を正確に理解していることの強力な証拠となる。
対照的に、比較対象となった他の世界モデル（OasisやLucid-v1）では、数ブロックを置いただけで無関係な構造物が突然現れたり（オートコンプリートのような失敗）、そもそも世界の物理法則が破綻してタスクを遂行できなかったりした。 この人間によるストレステストは、Dreamer 4の世界モデルの質の高さを客観的に示している。
結論：Dreamer 4が拓く、AIとロボティクスの新時代
Dreamer 4の成功は、単に「AIが難しいゲームをクリアした」というニュースに留まらない。これは、AI開発のパラダイムが、「大量のオンライン試行錯誤」から「高品質な世界モデル内での効率的な想像内訓練」へとシフトする可能性を示唆している。AIエージェント開発のボトルネックは、強化学習アルゴリズムの巧妙さではなく、いかに正確で高速なシミュレーター（世界モデル）を構築できるかにある、という明確なメッセージだ。
もちろん、課題も残されている。現在のDreamer 4の世界モデルは、記憶の持続時間が約9.6秒と短く、アイテムインベントリの表示が不正確になることがあるなど、まだ完璧な世界のクローンとは言えない。 研究チームも、今後の方向性として、長期記憶の統合、言語理解能力の組み込み、そしてインターネット上の汎用的な動画データでの事前学習などを挙げている。
それでもなお、Dreamer 4が成し遂げたことは、AIが物理世界を理解し、その中で自律的に活動する未来に向けた、極めて重要なマイルストーンであることは間違いない。家事を手伝い、工場の作業をこなし、危険な場所で人間に代わって活動するロボット。そんなSFの世界が現実になるためには、ロボットが現実世界で危険な練習をすることなく、安全な「想像」の中で賢くなる能力が不可欠だ。
Dreamer 4は、その「想像」の力が、もはや人間の専売特許ではないことを証明した。AIが自らの内に世界を夢見て、その中で学び、成長する。そんな新しい時代の幕開けを、私たちは今、目の当たりにしているのかもしれない。
論文
参考文献
- Danijar Hafner: Training Agents Inside of Scalable World Models