자기 모니터링 내비게이션 에이전트를 위한 보조적 진행 추정

비전-언어 탐색(Vision-and-Language Navigation, VLN) 과제는 에이전트가 사진처럼 실제적인 미지의 환경에서 탐색 지시를 따르는 것을 포함합니다. 이 어려운 과제는 에이전트가 이미 완료한 지시사항, 다음에 필요한 지시사항, 진행 방향 및 목표에 대한 탐색 진행 상황을 인식할 것을 요구합니다. 본 논문에서는 두 가지 보완적 구성 요소를 갖춘 자기 모니터링 에이전트를 소개합니다: (1) 시각-텍스트 공통 기반 모듈은 주변 이미지에서 과거에 완료된 지시사항, 다음 행동에 필요한 지시사항 및 다음 이동 방향을 찾고 (2) 진행 모니터는 기반화된 지시사항이 탐색 진행 상황을 올바르게 반영하는지를 확인하기 위한 것입니다. 우리는 표준 벤치마크에서 우리의 자기 모니터링 에이전트를 테스트하고, 일련의 축소 연구(ablation studies)를 통해 주요 구성 요소의 기여도를 분석하였습니다. 제안된 방법을 사용하여, 우리는 새로운 최신 성능(state of the art)을 크게 개선하였습니다(미지의 테스트 세트에서 성공률 8% 절대 증가). 코드는 https://github.com/chihyaoma/selfmonitoring-agent 에서 제공됩니다.