自己監視ナビゲーションエージェントによる補助的な進行状況推定

Vision-and-Language Navigation（VLN）タスクは、写実的な未知の環境でナビゲーション指示に従うエージェントを対象としています。この難易度の高いタスクでは、エージェントが過去に完了した指示、次の行動に必要な指示、進行方向、および目標へのナビゲーション進捗を認識することが求められます。本論文では、2つの補完的なコンポーネントを持つ自己監視型エージェントを提案します。(1) 周囲の画像から過去に完了した指示、次の行動に必要な指示、および次に進むべき方向を特定する視覚-言語共定位モジュールと (2) 接地された指示が正しくナビゲーション進捗を反映していることを確認する進行度モニターです。我々は標準的なベンチマークで自己監視型エージェントの性能を評価し、主要なコンポーネントの貢献度を明らかにする一連の削除実験を通じて提案手法を分析しました。我々の提案手法を使用することで、未見テストセットでの成功率において大幅な改善（8% の絶対値増加）により新たな最先端技術を達成しました。コードは https://github.com/chihyaoma/selfmonitoring-agent で公開されています。