DEFT: 추적을 위한 탐지 임베딩

현대의 다객체 추적(MOT) 시스템 대부분은 탐지 후 추적(Tracking-by-detection) 파라다임을 따르며, 이는 탐지기(detector)와 탐지 결과를 트랙으로 연결하는 연관 방법을 포함한다. 오랜 기간 동안 추적 분야에서는 운동 정보와 외형 특징을 결합하여 가림, 소실 등의 도전 과제에 대해 강건성을 확보해 왔지만, 일반적으로 이는 구현의 복잡성 증가와 처리 속도 저하라는 상충 요소를 수반해왔다. 최근 주요 2차원 추적 벤치마크에서의 성공 사례들은, 최첨단 탐지기와 단일 프레임 공간 오프셋에 기반한 상대적으로 단순한 연관 방식만으로도 최고 성능을 달성할 수 있음을 보여주고 있다. 특히, 잃어버린 트랙을 재식별하는 데 도움을 주기 위해 학습된 외형 특징을 활용하는 기존의 방법들보다 뛰어난 성능을 기록하고 있다. 본 논문에서는 ‘추적을 위한 탐지 임베딩(Detection Embeddings for Tracking, DEFT)’이라 명명한 효율적인 통합 탐지 및 추적 모델을 제안한다. 본 연구의 접근법은 기초적인 객체 탐지 네트워크와 함께 공동 학습되는 외형 기반 객체 매칭 네트워크에 기반하며, 운동 제약 조건을 포착하기 위해 LSTM을 추가로 도입한다. DEFT는 2차원 온라인 추적 리더보드에서 최고 수준의 정확도와 속도를 보이며, 더 도전적인 추적 데이터에 적용했을 때 강건성 측면에서 뚜렷한 우위를 보인다. 또한, nuScenes 단안 3차원 추적 도전 과제에서는 이전 최고 성능 모델의 성능을 두 배 이상 상회하는 결과를 기록하며 기준을 새롭게 제시하였다. 관련 코드는 공개되어 있다.