SOON: 그래프 기반 탐색을 통한 시나리오 지향 객체 탐색

3D 몰입형 환경 내에서 어떤 위치에서든 언어 지시에 따라 인간처럼 타겟을 향해 탐색하는 능력은 지능형 로봇의 ‘성지’라고 불리는 핵심 목표 중 하나이다. 그러나 기존의 시각적 탐색 벤치마크 대부분은 복잡한 단계별 지시문을 통해 고정된 출발 지점에서 타겟을 향해 이동하는 것을 중심으로 설계되어 있으며, 현실 세계의 문제 상황과는 거리가 있다. 실제 상황에서는 인간이 타겟 객체와 그 주변 환경의 특징을 묘사할 뿐, 로봇이 임의의 위치에서 탐색을 시작하도록 지시한다. 이러한 현실적인 요구에 부응하여 본 논문에서는 시나리오 중심 객체 탐색(SOON, Scenario Oriented Object Navigation)이라는 새로운 태스크를 제안한다. 이 태스크에서는 에이전트가 3D 몰입형 환경 내 임의의 위치에서 출발하여 장면 설명을 바탕으로 타겟 객체를 탐지하고 위치를 파악해야 한다. 이 태스크를 해결할 수 있는 효과적인 방향을 제시하기 위해, 탐색 상태를 그래프로 모델링하고, 그래프 기반 탐색(Graph-based Exploration, GBE)이라는 새로운 방법을 제안한다. GBE는 그래프에서 지식을 학습하고, 하위 최적 경로를 학습함으로써 학습 과정의 안정성을 높이는 데 기여한다. 또한, 본 연구에서는 대규모 벤치마크 데이터셋인 From Anywhere to Object (FAO)를 새로 제안한다. 타겟의 모호성을 방지하기 위해 FAO 데이터셋의 설명은 객체 속성, 객체 간 관계, 영역 묘사, 근접 영역 묘사 등 풍부한 의미적 장면 정보를 포함하고 있다. 실험 결과, 제안한 GBE 방법은 FAO 및 R2R 데이터셋 모두에서 다양한 최신 기법들을 초월하는 성능을 보였다. 또한 FAO 데이터셋에 대한 아블레이션 연구를 통해 데이터셋의 높은 품질이 입증되었다.