マサチューセッツ工科大学（MIT）は2026年11月5日、ロボットが過去に観測した物体の記憶を、別の視点から撮影した画像を使って修正する新手法「UQ-DAAAM」を紹介した。この技術は、3D地図上の物体の位置や観測時刻に結び付けて保存された説明文について、その不確実性を評価し、必要に応じて内容を更新するものだ。不確かな情報に追加の画像解析を集中させることで、物体に関する質問への回答精度が向上した。実験では、不確実と判定された物体の92.3%で不確実性を解消したという結果も得られている。ただし、この数値は誤認を正しく修正できた割合ではなく、記憶の不確実性が所定の基準以下になった割合を表している。
煙突をリスと誤認する、ロボットの物体記憶の弱点
ロボットが煙突をリスと見間違え、その誤った情報を地図に記録してしまう。MITの発表では、こうした例を通じて、ロボットの物体記憶が抱える問題を説明している。物体の認識を誤ると、その場限りの失敗にとどまらず、誤った説明が記憶として保存され、後の質問応答にも影響する可能性がある。ロボットが長期間にわたって周囲の環境を把握するには、一度記録した情報を必要に応じて見直す仕組みが欠かせない。
今回の研究の基盤となったDAAAMは、MITが2026年6月17日に紹介したシステムだ。視覚言語モデル（VLM）を使って画像内の物体を文章で説明し、その内容を3D地図上の位置や観測時刻と結び付けて保存する。これにより、ロボットは特定の物体がいつ、どこにあったのかという質問に答えられる。しかし、撮影した画像が不鮮明だったり、周囲が暗かったりすると、最初から誤った説明が記録される可能性がある。遠くにある物体や、一部が遮蔽された物体も認識が難しい。UQ-DAAAMは、こうした記憶の中から信頼性の低い情報を見つけ出し、追加の観測結果を使って修正する機能を加えたものだ。
研究の共同筆頭著者はHarry ZhangとNicolas Gorlo、最終著者はLuca Carloneである。arXivの書誌情報によると、論文の初版は2026年6月6日に公開されており、MITはNeurIPSでの発表を予定していると説明している。研究手法や評価結果の詳細は、公開されているプレプリント論文と付録に記載されている。
説明の食い違いから不確実性を測り、再評価する画像を選ぶ
UQ-DAAAMでは、まず物体ごとに代表的な3つの視点を選び、それぞれの画像から生成された説明文を比較する。各説明文を意味ベクトルに変換し、内容がどの程度異なるかを調べるとともに、説明文を生成した際の単語の確率に基づく不整合度も算出する。これにより、複数の説明の意味的なばらつきと、個々の説明自体の不確かさを組み合わせて評価する。単にモデルに自信の有無を尋ねたり、3つの説明を多数決で比較したりする方法とは異なり、物体ごとの不確実性を定量的に評価できる仕組みだ。
この評価結果を使い、追加の画像解析が必要な物体を選別する。すべての物体を一律に再処理するのではなく、不確実性の高い記憶に計算資源を集中させることで、不要な処理を抑える狙いがある。ただし、不確実性のスコアが高いことと、実際に物体の認識が間違っていることは必ずしも一致しない。そのため、この段階で行っているのは誤認の確定ではなく、再評価すべき記憶の選別である。
続いて、すでに撮影済みの画像から、物体をより明確に確認できる視点を選ぶ。すべての候補画像を視覚言語モデルで再解析すると計算負荷が大きくなるため、研究チームは既存の視点品質スコアを利用した。このスコアは、対象物体が画像内で大きく、中央付近に写っているほど高くなる仕組みだ。まず品質スコアに基づいて候補を絞り込み、選ばれた画像に対して追加の説明文を生成する。これにより、候補画像すべてを再解析する必要はなくなるが、視覚言語モデルの追加実行そのものが不要になるわけではない。
重要なのは、今回の実験で使われた別視点の画像は、すでに取得済みのものだという点だ。 ロボットが自律的に現場へ戻って撮影し直したわけではなく、保存された画像から適切なものを選んで記憶を再評価している。自律的な再訪による新規撮影は、今後の研究課題に位置付けられている。
最後に、GPT-5-miniを使って既存の説明と追加の観測結果を統合し、物体の記憶を更新する。この処理では新しい観測を優先しつつ、元の説明に含まれていない情報を勝手に追加しないよう指示している。また、初期の観測結果だけでは色を特定できず、白と灰色の説明が混在している場合は、「白または灰色」のように複数の候補を残す。無理に一つの答えへ統一せず、不確実な情報は曖昧なまま記録する設計だ。
もっとも、こうした指示によって、AIが存在しない情報を生成するハルシネーションを完全に防げるわけではない。それでも、説明間の食い違いを検出する処理と、その食い違いを記憶にどう反映するかという処理を分けている点は、単純に新しい説明で古い説明を上書きする方法とは異なる。
質問応答の正答率は5.0ポイント向上、不確実性の92.3%を解消
研究チームは、論文の表1で、OC-NaVQAベンチマークを用いた質問応答性能の比較結果を公表している。すべての手法で同じGPT-5-miniを質問応答モデルとして使用しているため、回答精度の違いをモデルの変更による効果と区別できる。評価対象となったのは、記憶された物体の説明に関する質問だ。以下に、全評価対象を含む「All」区分の結果を示す。
| 手法 | 説明に関する質問の正答率（All） | DAAAMとの差 |
|---|---|---|
| DAAAM | 71.1% | 基準 |
| DAAAM-RR（無作為に追加処理） | 71.6% | +0.5ポイント |
| DAAAM-QR（視点品質に基づく追加処理） | 73.8% | +2.7ポイント |
| DAAAM-ES | 74.3% | +3.2ポイント |
| UQ-DAAAM | 76.1% | +5.0ポイント |
※出典：論文表1。OC-NaVQAのAll区分を比較し、質問応答モデルにはすべてGPT-5-miniを使用。差分は各手法の正答率からDAAAMの71.1%を引いたパーセントポイントで示した。
UQ-DAAAMの正答率は76.1%となり、従来のDAAAMの71.1%から5.0ポイント向上した。無作為に追加処理を行うDAAAM-RRの71.6%や、視点品質に基づいて画像を選ぶDAAAM-QRの73.8%も上回っている。一方、比較手法の中で最も高かったDAAAM-ESの74.3%との差は1.8ポイントにとどまる。したがって、今回の成果を単に「5%改善」と表現すると、相対的な改善率なのか、パーセントポイントの差なのか、どの手法との比較なのかが不明確になる。従来のDAAAMからの改善と、別の追加処理方式に対する優位性は区別して評価する必要がある。
もう一つの重要な評価指標が、不確実性解消率（URR）だ。これは、当初不確実と判定された物体のうち、追加処理によって不確実性スコアが設定された閾値以下になった割合を表す。追加照会の上限を2回とした条件では、UQ-DAAAMのURRは92.3%に達した。これに対し、視点品質に基づく選択方式は34.2%、無作為選択方式は5.6%だった。なお、すべての物体に対して一律に2枚の画像を追加した条件ではなく、不確実性に応じて処理対象や追加回数を決めている。
追加照会の上限を1回にするとURRは68.9%、3回にすると94.4%となり、照会回数を増やすことで不確実性を解消できる物体の割合が上昇した。ただし、92.3%という数字は、誤認の92.3%を正しく修正できたという意味ではない。 あくまで不確実性スコアが基準以下になった割合であり、説明同士の食い違いが減っても、物体を正しく認識できているとは限らない。
13.5Hzで画像を処理、ただし記憶の訂正完了時間とは別
実装性能の評価では、CODaデータセットに含まれる7シーケンス、計98,866フレームを使用した。処理環境は24GBのメモリを搭載した単一のNVIDIA RTX 4090で、10Hzの入力に対して13.5Hzの処理速度を記録している。物体の説明文の生成にはDAM-3Bを使い、説明の統合と質問応答にはGPT-5-miniを使用した。この結果は、少なくとも評価環境において、入力フレームの到着頻度を上回る速度で主処理系が動作したことを示している。
ただし、13.5Hzという数字を、ロボットが移動中にすべての記憶訂正を即座に完了できる性能と解釈することはできない。MITの発表では移動中のリアルタイム更新が説明されているが、論文付録によると、追加の視覚言語モデルへの照会は終了処理時に非同期で実行される。つまり、入力画像を処理する速度と、追加の照会を終えて記憶の訂正が完了するまでの時間は異なる。実装には300秒のタイムアウトも設定されているが、これは訂正に要した時間の実測値ではない。リアルタイム性を評価するには、画像処理のスループットだけでなく、記憶更新が完了するまでの遅延も確認する必要がある。
処理対象の選別についても具体的な結果が報告されている。評価した18,298物体のうち、追加処理の対象となったのは6,324物体で、全体の34.6%だった。追加処理の対象となった物体について、使用した追加視点の数は平均1.32±0.47だった。すべての物体に同じ回数の追加処理を行うのではなく、不確実性の高い記憶に計算資源を集中させるという設計が、実際の処理配分にも反映されている。
一方、位置や時刻に関する質問応答の精度は、すべての評価区分で改善したわけではない。All区分では、位置誤差が従来のDAAAMの41.75mから37.84mへ、時間誤差が1.792分から1.589分へ減少した。しかし、Long区分の位置誤差は53.47mから58.94mへ悪化している。このため、全体の平均値が改善していても、特定の条件では性能が低下する可能性がある。なお、これらは記憶した物体の位置や観測時刻に関する回答誤差であり、ロボット自身の位置推定精度や衝突回避性能を測定したものではない。
複数の画像で説明が一致しても、誤認は残る
今回の研究では、不確実性が下がっても物体の誤認が解消されない事例も確認された。論文付録には、鮮明な画像を追加したにもかかわらず、自転車置き場のラックを電話ボックスと認識し続ける例が示されている。追加処理によって説明の食い違いが減り、不確実性スコアが低下しても、保存された説明は誤ったままだった。これは、記憶の不確実性を減らすことと、記憶の内容を正しくすることが必ずしも一致しないという、この手法の重要な限界を示している。
複数の視点から得られた説明が一致していても、その内容が正しい保証はない。元の視覚言語モデルが同じ種類の誤認を繰り返す場合、画像を追加しても誤った説明が維持される可能性がある。また、不確実性スコアが実際の認識精度をどこまで適切に反映しているかという、信頼度の校正にも課題が残る。さらに、追加のモデル照会や説明文の統合には計算コストがかかり、長期間運用する場合には、過去の観測履歴を含む記憶の保存量も増えていく。
論文では視点選択に関する理論的な保証も示されているが、その成立には、視点品質と期待情報利得の順位について確率的優越などの仮定が必要になる。したがって、視点品質スコアが高い画像を選べば、必ず誤認を修正できるという保証ではない。また、今回の評価は研究チームが使用したデータセットに基づくものであり、実環境での物体操作の成功率や、家庭内でのロボットの安全性を検証したものでもない。
研究チームは今後、不確実性の高い場所へロボットが自律的に戻って再観測する機能や、移動と物体操作を組み合わせたロボットへの応用を目指している。その段階では、新たな観測によって誤認を正しく修正できるかに加え、行動に必要なタイミングまでに記憶の更新が完了するかが重要になる。さらに、修正された記憶が実際の物体操作の成功率向上につながるかどうかも検証する必要がある。UQ-DAAAMは、ロボットが過去の認識結果を見直すための有効な手法を示したが、その成果を現実の行動性能へ結び付けられるかが今後の焦点となる。
