터치다운: 시각적 거리 환경에서의 자연어 네비게이션과 공간 추론

우리는 언어와 시각을 통합하여 탐색 및 공간 추론 과제를 수행하는 문제를 연구합니다. 이에 따라 실제 생활의 시각적 도시 환경에서 탐색 지침을 따르고, 자연어로 설명된 위치를 식별하여 목표 위치에서 숨겨진 물체를 찾는 '터치다운(Touchdown)' 과제와 데이터셋을 소개합니다. 이 데이터셋은 영어 지침과 공간 설명이 결합된 9,326개의 예시와 함께 데모스트레이션을 포함하고 있습니다. 경험적 분석 결과, 이 데이터는 기존 방법들에 대한 개방적인 도전임을 보여주며, 정성적인 언어학적 분석 결과, 이 데이터가 관련 자료보다 더 풍부한 공간 추론 사용을 나타내고 있음을 확인할 수 있었습니다.