초록
다중 객체 추적(Multiple Object Tracking, MOT)은 비디오 작업으로서 타겟의 시계열 정보를 효과적으로 포착해야 한다. 그러나 기존 대부분의 방법들은 인접 프레임 간 객체 특징만 명시적으로 활용할 뿐, 장기적인 시계열 정보를 모델링할 능력이 부족하다. 본 논문에서는 다중 객체 추적을 위한 장기 메모리 증강 Transformer인 MeMOTR를 제안한다. 제안한 방법은 사용자 정의 메모리 어텐션 레이어를 통해 장기 메모리 주입을 활용하여, 동일 객체의 트랙 임베딩을 더욱 안정적이고 구분 가능하게 만든다. 이는 모델의 타겟 연관 능력을 크게 향상시킨다. DanceTrack 데이터셋에서의 실험 결과, MeMOTR는 HOTA 및 AssA 지표에서 각각 최신 기술(SOTA)을 7.9%, 13.0% 초과하여 뛰어난 성능을 보였다. 또한 MOT17에서 다른 Transformer 기반 방법들보다 우수한 연관 성능을 보이며, BDD100K에서의 일반화 능력 또한 우수하다. 코드는 https://github.com/MCG-NJU/MeMOTR 에서 공개되어 있다.