タッチダウン：視覚的な街の環境における自然言語ナビゲーションと空間推論

言語と視覚の統合的な推論に関する問題を、ナビゲーションと空間推論タスクを通じて研究しています。本研究では、Touchdown タスクおよびデータセットを導入しました。このタスクでは、エージェントがまず現実の都市環境でナビゲーション指示に従い、次に自然言語で記述された位置を特定して目標地点にある隠れた物体を見つける必要があります。データセットには、英語の指示文と空間描写がデモンストレーションとともにペアになった 9,326 件の例が含まれています。経験的分析は、既存の手法に対して本データセットが未解決の課題を呈していることを示しており、定性的な言語分析は、本データセットが関連リソースに比べてより豊かな空間推論の使用を示していることを明らかにしています。