GPT-6 Astraがポケモンでチャンピオンになるまで18時間12分だったと、ゲーム配信を運営するClad3815氏が報告した。一方、AI評価企業のVals AIは、Minecraftで攻略用の物資を集めていたAstraがクリーパーの爆発で保管品を失い、その後は数時間ほぼジャガイモ栽培だけを続けたと伝えている。長い操作を積み重ねて目標に近づく能力は伸びたが、失敗から元の攻略へ戻る過程には不安定さが残る。二つの実験とARC Prizeの公式評価を並べると、達成時間に加えて、操作の条件と記憶の引き継ぎ方が成績を読む手がかりになる。
ポケモン18時間12分、比較の単位はチャンピオン到達
「GPT Plays Pokémon」を運営するClad3815氏の報告では、AstraはGPT-5.6 Solに比べ、はるかに短い時間でチャンピオンに到達した。報告された数字を並べると、差の大きさと、比較に残る条件が分かる。
| モデル | 推論の設定 | 報告された時間 | その時点の結果 |
|---|---|---|---|
| GPT-6 Astra | high | 18時間12分 | チャンピオン到達 |
| GPT-5.6 Sol | max | 96時間35分 | チャンピオン到達 |
| GPT-5.5 | 今回参照した報告では確認できず | 218時間 | 未完了 |
AstraとSolの時間を分に直すと、それぞれ1,092分と5,795分になる。Solを基準にした短縮率は「（5,795−1,092）÷5,795」で約81%だ。ただし、これは報告されたチャンピオン到達時間の差であり、Astraがあらゆる仕事を約81%短い時間で終えるという意味ではない。GPT-5.5の218時間も、クリア時間として比較してはならない。
Clad3815氏は、画面のスクリーンショットだけを入力とし、ゲームの内部メモリーへのアクセスやヒント、攻略手順の提供はなく、自律的に進めたと説明している。つまり、画面から状況を読み取り、操作し、その結果をまた画面で確かめる作業を長時間つないだという報告である。攻略手順をその場で渡していないことは、モデルが学習時にも攻略情報を見ていないことの証明にはならない。
推論に割り当てる設定もAstraはhigh、Solはmaxと異なる。試行回数や結果のばらつきに加え、計時に何を含めたかまで確かめられる統一実験ではないため、モデル間の一般的な性能差を測るには追加の条件が必要だ。それでも、同じ到達目標に対する実施者の記録として、長い手順を最後まで運ぶ能力の進歩を示す材料になる。
なお、Clad3815氏とVals AIのXでの説明は公開転載を照合した実施者報告であり、プレイ動画全編を独立に検証した結果ではない。
爆発後のジャガイモ栽培をどう読むか
Vals AIの9月15日付の投稿によると、MinecraftのAstraは半自動のブレイズ収集設備を作り、ブレイズロッドを6本集めた。その後、歪んだ森でエンダーマンを6体以上倒し、エンダーパールを3個入手している。採集から設備づくりへ進み、さらに別の場所で必要な物資を探すところまで、攻略をつないでいた。
ところが、貴重な品をチェストにしまった後、近づいたクリーパーが爆発し、チェストとベッドが壊された。ここで失われたのは保管していた物資などであり、ゲーム世界そのものが消えたり、それまでの行動がすべて巻き戻されたりしたという話ではない。それでも、次の攻略へ使うはずの品を失った打撃は大きかった。
Vals AIは、Astraがその後の数時間、ほぼジャガイモ栽培だけを続けたと報告している。緑色の背の高いものを見て、クリーパーではなくサトウキビだと確かめる記述もあったという。人間なら「怖くなった」と言いたくなる行動だが、この観察からAIがトラウマを負ったとは言えない。確認できるのは、失敗後の行動が慎重になり、攻略の進み方が変わったという実施者の説明だ。
しかも、失敗後に残した注意書きには、実験条件を読むうえで見逃せない内容がある。Astraは、死亡時の所持品保持を前提に、重要な品は持ち歩き、無防備なチェストに置かないよう自分に注意していたという。Vals AIは9月8日の説明でも、Astraが死亡時の所持品保持を有効にし、進行が速くなったと明かしている。
この設定なら、死亡時に手持ちの品を失う危険は軽くなる。しかし、品をしまったチェストまで守ってくれるわけではない。そのため、重要品を携行するという注意自体は、条件に沿った対処と考えられる。注意書きが残ったことと、その注意がジャガイモ栽培への停滞を引き起こしたことは別であり、公開された記述から内部の原因までは決められない。
初期の9月8日のデモでは、Astraは3時間未満でネザーポータルを建てたとされる。高い場所からゾンビに対処し、スケルトンを穴に閉じ込め、ボートで拠点へ戻るといった行動も報告された。Vals AIは、ゲーム専用の実行基盤を使わない通常のコンピューター操作だったと説明している。ただし、この初期デモの説明だけで、その後の長時間実験の全設定や介入の有無まで確認できるわけではない。
同じAstraでも、記憶の渡し方で成績が変わる
ARC Prizeが9月3日に公開した評価では、同じAstraのhigh設定でも、ARC-AGI-3のSemi-Privateで54.8%と99.9%という差が出た。違ったのは、モデルの周囲で観測や操作、記憶の管理を受け持つ実行基盤である。
| 実行基盤 | 推論の設定 | ARC-AGI-3 Semi-Privateのスコア | 記憶の引き継ぎ方 |
|---|---|---|---|
| Standard | high | 54.8% | モデルが持ち越す内容を可視のメモに残す |
| Provider Adapter | high | 99.9% | 外から見えない推論状態を呼び出し間で保持し、長い会話を圧縮して管理する |
同じhigh設定にそろえた差は45.1ポイントとなる。よく取り上げられるStandardの62.7%はmax設定での成績なので、99.9%との比較では実行基盤と推論設定の両方が変わっている。表のように推論設定をそろえると、少なくとも同じモデル名だけでは成績を説明できないことが明瞭になる。
Standardにもメモはある。記憶がまったくないモデルと、記憶があるモデルを比べた実験ではない。どの情報を可視メモとして残すかをモデルに任せる方式と、提供元が用意した推論状態の保持機能を使う方式では、以前の作業を引き継ぐ条件が違う。長い作業では、判断を重ねる能力に加えて、過去の判断をどう次の操作へ渡すかも問われる。
ARC Prizeは、Astraが未知のゲームの仕組みを簡潔な記号に置き換え、物体の位置やルール、残った計画を記録する様子も観察した。画面を毎回眺め直すだけでなく、理解した内容を再利用できる形にまとめる。そうした振る舞いが、次の行動を選ぶ助けになるという説明だ。
経験を保存して再利用する発想には先行例がある。2023年の研究「Voyager」はGPT-4を用い、Minecraft内の課題を自動で選び、行動用のプログラムを作って、成功したコードをスキルライブラリーに蓄えた。実行エラーや環境からの応答を受けてコードを直す仕組みも組み込んでいた。今回の画面を介した操作とは方法が違うため、攻略時間をそのまま競わせる対象にはならないが、過去の成功を次の仕事へ渡す設計が以前から研究されてきたことは分かる。
ただし、ARCの成績はMinecraftでの停滞の原因を説明する実験ではない。また、ARC-AGI-3が測る行動効率は、環境に何回働きかけて解けたかという尺度で、現実に何時間かかったかとは異なる。ARC Prize自身も、ルールと目標が限定され、同じ条件では結果が定まる環境での成績であり、実世界の複雑さを代表せず、AGI達成の証明でもないと明記している。
長時間動くAIに必要な、失敗からの復帰
ポケモンのチャンピオン到達は、手順を積み重ねて終点まで進んだ記録だ。Minecraftでの物資喪失後の農作業は、稼働が続いていても元の目標への進行が鈍る場合があることを示している。両者を「ゲームが得意か」という一つの印象に丸めると、長時間の操作を評価するための違いが消えてしまう。
開発者が実務への応用を考えるなら、到達した成果、そこまでの所要時間、失敗後に復帰できたかを分けて記録するのが有用だろう。たとえば、操作に失敗した後で同じ行動を繰り返すのか、状況を調べ直すのか、別の経路を選べるのかでは、最後まで仕事を任せられる度合いが変わる。これはゲーム実験から導ける評価上の示唆であり、今回の結果だけで業務全般の成功率を見積もれるわけではない。
Astraの次の攻略記録で確かめたいのは、物資を失ってから必要な品を集め直すまでの時間や、人が助けた回数まで追えるかどうかだ。操作条件と記憶管理の方式を明らかにし、同じ条件で失敗後の復帰を繰り返し確かめられれば、長く動くAIにどこまで仕事を任せられるかを、完走の見栄えより具体的に判断できる。
