자연어 사양을 통한 추적

본 논문은 영상 내 목표 물체를 추적하는 것을 목표로 한다. 영상의 첫 번째 프레임에서 경계 상자(bounding box)를 통해 목표를 지정하는 기존 방식과 달리, 본 연구는 목표에 대한 자연어(specification) 기반 추적을 제안한다. 이는 더 자연스러운 인간-기계 상호작용을 가능하게 하며, 추적 성능 향상의 수단이 될 수 있다. 우리는 자연어 기반 추적의 세 가지 변형을 정의한다: 단순히 언어적 목표 사양에 의존하는 경우, 언어를 기반으로 시각적 목표 사양을 활용하는 경우, 그리고 두 가지의 능력을 결합하여 활용하는 경우이다. 자연어 사양을 통한 추적의 잠재력을 입증하기 위해, 두 가지 인기 있는 추적 데이터셋에 언어적 설명을 추가하고 실험 결과를 보고한다. 마지막으로, 자연어로 목표를 지정할 수 있게 되면서 가능해지는 감시 및 기타 실시간 영상 스트림에서의 새로운 추적 시나리오도 제안한다.