주변 환경을 이해하기: 장면 정보를 활용한 객체 추적

최근 최신 추적 기술은 각 프레임에서 객체를 추적하기 위해 오직 타깃의 외형 모델에만 의존한다. 그러나 이러한 접근 방식은 예를 들어 빠른 외형 변화나 방해 물체가 존재하는 경우에 실패하기 쉽다. 이와 같은 상황에서는 단순히 타깃의 외형 모델만으로는 강건한 추적을 보장하기 어렵다. 주변 장면 내 다른 객체의 존재 여부와 위치에 대한 지식은 이러한 상황에서 매우 유용할 수 있다. 이러한 장면 정보는 시퀀스 전반에 걸쳐 전파될 수 있으며, 예를 들어 방해 물체를 명시적으로 회피하거나 타깃 후보 영역을 제거하는 데 활용될 수 있다.본 연구에서는 장면 정보를 활용하여 추적을 수행할 수 있는 새로운 추적 아키텍처를 제안한다. 제안하는 추적기는 이러한 장면 정보를 밀도 높은 국소 상태 벡터로 표현하며, 예를 들어 특정 지역이 타깃인지, 배경인지, 방해 물체인지 등을 인코딩할 수 있다. 이 상태 벡터는 시퀀스 전체에 걸쳐 전파되며, 외형 모델의 출력과 결합되어 타깃의 위치를 정확히 추정한다. 제안된 네트워크는 비디오 세그먼트에서 직접 추적 성능을 최대화하도록 학습되어, 장면 정보를 효과적으로 활용할 수 있도록 설계되었다. 제안한 방법은 3개의 추적 벤치마크에서 새로운 최고 성능을 달성하였으며, 최신 GOT-10k 데이터셋에서 AO 점수 63.6%를 기록하였다.