限られたクエリ予算下でロボットの記憶をより信頼できるものにするには？ MITがUQ-DAAAMを提案、時空間記憶に不確実性評価を導入

ロボットが短時間・単一タスクから、オープン環境での長時程の自律操作へと移行しつつある中、ナビゲーション、物体探索、時空間質問応答などのタスクを支援するために、時間や視点を超えて物体とその空間関係を保存する長期記憶を構築する必要がある。

近年、視覚言語モデル（VLM）に基づくシーン記述は、ロボットの意味記憶構築に新しい道を提供したが、VLM の出力にはノイズが含まれやすく、異なる観測視点で意味的不整合が生じる可能性がある——物体が遠距離にある場合、視点から遮蔽されている場合、または複雑な照明環境にある場合、VLM は一見すると非常に確定的だが実際には物体属性を誤って記述したテキストを生成することがある。DAAAM のような記憶システムを例にとると、選択された視点がたまたま品質の低いものであった場合、最終的に形成される記憶エントリには誤った情報が含まれる可能性があり、システムはそれを検知できない。

この課題に対し、MIT の研究チームは不確実性スコアを高度な空間意味記憶システムに導入し、UQ-DAAAM と名付けた。 固定クエリ予算の制約下で、UQ-DAAAM はこのスコアを用いて不確実性の高い対象を積極的に最適化する：高品質な視点を選別して新しい記述を取得し、複数視点から生成された記述を融合して統一された対象記述を形成する。実験結果は、不確実性定量化が具身知能の 4D 記憶システムの信頼性と有効性を向上させることを示した。OC-NaVQA ベンチマークでは、ベースライン手法と比較して、UQ-DAAAM は不確実性を有意に低減し、より良好な時空間質問応答性能を達成した。

関連する研究成果は「Remember with Confidence: Uncertainty Quantification for Spatio-temporal Memory with Probabilistic Guarantees」というタイトルで、NeurIPS に掲載される予定である。

研究のハイライト：

• 対象レベル不確実性スコアリング手法の提案：多視点画像記述に対して、対象レベルの意味的不確実性指標を構築する
• 予算制約下での積極的最適化と融合戦略の提案：追加の VLM クエリ予算が限られている状況で、不確実性の高い対象を優先的に最適化し、多視点記述を融合する。
• 視点選択戦略に対する確率的保証の提供：DAAAM の視点品質評価手法と単一ステップの不確実性低減との関係を理論的に確立し、対応する閉形式更新式を導出した

論文アドレス：

https://arxiv.org/pdf/2606.08277

データ前処理、シーン再構成、セグメンテーションとトラッキング

データセットと前処理

研究者は CODa 屋外運転データセットで UQ-DAAAM の時空間質問応答タスクにおける性能を評価した。このデータセットは、30 Hz のステレオ画像、LiDAR（レーザレーダ）投影から生成される深度マップ、およびグローバルに一貫した姿勢情報を提供する。

すべての実験ではフロントカメラ（cam0）で収集した画像を使用し、画像を中心クロップおよびリサイズして、最終解像度を 480×640 ピクセルとした。深度データは 3D 生 LiDAR 投影推定から取得され、フィルタ処理を施して、深度範囲が [0.05, 20.0] メートルのデータのみを保持した。動画フレームは 10 Hz の頻度で処理し、センサーのデータ公開頻度と一致させた。

シーン再構成

研究者は Khronos を用いてリアルタイム 3D シーングラフ構築を行った。TSDF（Truncated Signed Distance Field、切り詰め符号付き距離場）のボクセルサイズを 0.2 メートル、切り詰め距離を 0.6 メートルに設定した。

物体フラグメント（Object Fragments）の抽出パラメータは以下のように設定した：最小体積 0.005 立方メートル、最大体積 50 立方メートル；各物体フラグメントは少なくとも 8 回の観測が必要であり、割当信頼度は 0.5 以上でなければならない。

通行可能領域（Traversability Places）の幅を 0.4 メートルから 2.0 メートルの間に設定し、地面平面へのラベル投影機能を有効にした。

セグメンテーションとトラッキング

研究者は FastSAM を用いてオープンボキャブラリインスタンスセグメンテーションを行い、TensorRT エンジンにコンパイルした。入力画像解像度は 480×640 ピクセル、セグメンテーションマスクの最小面積は 400 ピクセルに設定した。

物体トラッキングには ByteTrack を採用し、CLIP ベースの外観再認識モデル（ReID）によって外観特徴マッチングを実現した。このモデルも TensorRT エンジン上にデプロイした。トラッキングパラメータでは、新規トラック（new track）の信頼度閾値を 0.6 に、トラックバッファ長（track buffer）を 30 フレームに設定した。物体トラックは少なくとも 8 回の観測を蓄積してから、意味アノテーション段階に進むことができる。

UQ-DAAAM フレームワーク：不確実性認識から積極的観測と意味融合へ

本論文の研究は DAAAM の上に構築されている。DAAAM は RGB-D データストリームからリアルタイムで 4D シーングラフを構築できる。下の図は UQ-DAAAM の全体フレームワークを示しており、構築プロセスは不確実性定量化、積極的な視点選択、多視点記述集約の三つの主要な段階を含む：

① 不確実性定量化（Uncertainty Quantification）

物体中心の意味的不確実性を定量化するため、研究者らは体積意味計測（Volumetric Semantic Measurement）手法を DAAAM の多視点ロボットメモリ構築シーンに導入した。

本論文の研究シーンでは、各物体は複数の選択された視点から観測され、各視点では VLM が自然言語記述を生成する。異なる視点で生成された記述が意味的に一致しない場合、または単一の記述自体の内部整合性が低い場合、システムの不確実性はそれに応じて増加する。したがって、この研究の計算手法は、視点間意味散らばり（Cross-view Semantic Scatter）と視点別記述の不連続性（Per-view Incoherence）という 2 つの側面を総合的に考慮する。

異なる視点の記述が意味的方向性において大きく異なるほど、または単一の記述自体が不連続であるほど、算出される不確実性は通常高くなる。これにより、システムは単一の記述の信頼度だけに依存するのではなく、多視点情報の間の一貫性と、単一の記述自体の信頼性を総合的に評価する。

① 能動的視点選択（Active View Selection）

初期不確実性評価の完了後、システムはオブジェクトレベルの不確実性を事前設定されたしきい値と比較する。ある物体の不確実性がしきい値を超える場合、現在のメモリ内の意味的解釈に大きな曖昧さが残っていることを意味し、さらなる観測証拠の取得が必要になる。このとき、システムはすべての物体に追加クエリ予算を均等に割り当てるのではなく、不確実性が高いオブジェクトを優先して処理する。

理論的には、追加視点の選択はベイズ最適実験設計（BOED）問題として定式化できる。各候補視点は 1 回の実験に相当し、物体の潜在的な意味状態は推定対象であり、新視点で視覚言語モデルが生成する記述は実験結果である。理想的には、システムは期待不確実性を最大限に低減できる視点を選択すべきである。

② マルチビュー記述の集約（Multi-view Descriptions Aggregation）

不確実性に基づく視点選択の後に、各物体には異なる視点に由来するテキスト記述のセットが関連付けられる。研究者らは、制約付きの大規模言語モデル（LLM）ベースの集約ステップを通じて、これらの記述を 1 つの統一された物体記述に統合する。具体的には、システムは記述の取得段階に従って並べ替え、初期視点で生成された記述を先に、能動的最適化段階で取得された記述を後ろに置く。異なる記述間の衝突を処理する際、LLM には後に取得された記述（最適化段階で生成された記述）を優先的に採用するよう指示する。

相違が初期視点の記述間だけに存在する場合、統合後の記述は、曖昧さを早期に解消するのではなく、異なる可能性を慎重な表現で保持する。さらに、本研究では LLM に追加の制約を課した。統合結果は、少なくとも 1 つのソース記述に既に含まれている情報のみを使用でき、モデルによる幻覚情報の生成を防ぐ。

##UQ-DAAAM はより優れた時空間質問応答性能を達成できる

本研究では、下流時空間質問応答性能、不確実性低減効果、モジュールアブレーション、実行効率など複数の観点から UQ-DAAAM を評価した。

① OC-NaVQA タスク評価

OC-NaVQA タスクでは、UQ-DAAAM を元の DAAAM、および複数の能動的最適化と不確実性定量化ベースラインと比較した。DAAAM-RR は追加視点クエリ予算をランダムに割り当てる。DAAAM-QR は元の視点品質スコアに基づき、品質が低い物体に予算を割り当てる。さらに、隣接一貫性、次の Token の対数尤度、エントロピー、証拠スコアなど、異なる不確実性シグナルに基づく手法も比較した。

以下の表の結果は、UQ-DAAAM が 3 つの評価指標すべてで他のベースライン手法を上回り、特に質問精度と位置誤差で最も顕著な向上を達成したことを示している。これは、不確実性認識に基づく能動的最適化が、固定された意味クエリ予算をより効果的に割り当て、メモリ品質を向上できることを示している。

② 不確実性低減効果（Uncertainty Reduction）評価

下流タスクの性能に加え、本研究では、能動的最適化がその直接目標、すなわちオブジェクトレベルの意味的不確実性の低減を達成したかどうかも直接評価した。評価に用いた主要指標は不確実性低減率（URR）であり、初期段階で不確実と判定され、かつ能動的最適化後に不確実性がしきい値以下に低下した物体数が、初期不確実物体総数に占める割合と定義される。

下図の不確実性低減結果は、不確実性に基づく 2 つの能動的最適化ベースラインと比較して、UQ-DAAAM が明確な優位性を持つことを示している。 能動的最適化予算を (B=2) に固定した場合、UQ-DAAAM の URR は 92.3% に達した。視点品質に基づく最適化手法（DAAAM-QR）は 34.2%、ランダム最適化手法（DAAAM-RR）はわずか 5.6% であった。さらに、UQ-DAAAM は能動的最適化後の不確実性分布を明確に左方向へシフトさせ、この手法がより多くの物体において、より大きく、より安定した不確実性低減を実現できることを示している。

これらの結果は、本論文で提案する不確実性認識型能動的最適化手法が、著しく高い最適化効率を持つことを示している。

③ アブレーション実験（Ablations）

本研究では、いくつかのアブレーション実験を通じて、UQ-DAAAM の性能要因をさらに分解した： まず、単一の物体に対する追加の最適化予算を (B=1) から (B=3) まで増やすと、不確実性低減の効果は継続的に改善されたが、限界リターンは徐々に逓減した。下の図に示すように、ほとんどの利得は (B=2) の時点で既に達成されており、下流タスク OC-NaVQA の性能も同じ傾向を示している。これは、少量の追加視点で多くの物体の意味的曖昧さを解消するのに通常は十分であることを示している。

次に、最適化対象の選択では、完全な不確実性指標は、視点間記述のばらつきのみを使用する手法、または単一視点の非一貫性重みを考慮しない手法より優れており、視点間の意味的分岐と個別記述の品質の両方を考慮することで、より有効な不確実性判断が可能になることを示している。 最適化視点の選択では、ランダム選択はシステム性能を明らかに低下させた。物体の観測方向に基づく戦略と視点品質スコアリング戦略は近い性能を示したが、品質加重スコアリングにより候補視点をさらに絞り込めた。

多視点記述の融合実験は、融合戦略も最終的なメモリ品質に影響する。 単一の最良記述のみを使用する場合、初期記述または最適化段階の記述のみを融合する場合、および競合処理規則を設けない通常の LLM 融合と比較して、論文が提案する制約付き・段階認識型融合手法が最も優れた性能を示した。これは、能動的により多くの観測を取得することだけでは不十分であり、異なる段階の情報をどう区別し、互いに矛盾する記述をどう処理するかが、追加の証拠を信頼できるメモリに有効に変換できるかどうかを同じく決定することを意味する。

能動的最適化閾値については、実験ではオブジェクトレベルの不確実性分布の異なる分位点に対応する設定を比較した。結果として、閾値を第 10 百分位点から第 20 百分位点に調整すると性能は顕著に改善し、さらに第 30 百分位点まで調整しても向上が見られたが、第 40 百分位点がもたらす追加の利得は限定的であった。研究者らはこれに基づき、デフォルトの閾値は、意味クエリのコストと下流タスクの利得とのバランスを良好に取っている。

おわりに

UQ-DAAAM は、ロボットの長期時空間メモリに対して不確実性認識型のアプローチを提供する：システムは、視覚言語モデルが生成した記述をそのまま信頼できる事実として扱うのではなく、視点間の意味的な差異と単一視点の記述品質によって潜在的な曖昧さを識別し、能動的観測によって証拠を補強し、制約付きの記述融合によってより安定した物体メモリを形成する。今後、研究者らは UQ-DAAAM を活用して移動ロボットアームなど異なる種類のロボットを導きたいと考えており、彼らの不確実性定量化技術を他の分野にも応用したいと考えている。

参考文献：

https://arxiv.org/pdf/2606.08277 https://news.mit.edu/index%2ephp/2026/clearing-up-robot-fuzzy-memory-1105