스포츠모트: 다양한 스포츠 장면에서의 대규모 다객체 추적 데이터셋

스포츠 장면에서의 다객체 추적(Multi-object tracking, MOT)은 선수 통계 수집 및 자동 전술 분석과 같은 후속 분석을 지원하는 데 핵심적인 역할을 한다. 그러나 기존의 MOT 벤치마크는 이 분야에 거의 관심을 기울이지 않아 그 발전이 제한되어왔다. 본 연구에서는 다양한 스포츠 장면에서 경기장 내 모든 선수를 추적해야 하는 새로운 대규모 다객체 추적 데이터셋인 \emph{SportsMOT}을 제안한다. 이 데이터셋은 농구, 배구, 축구 3개 종목에서 수집한 총 240개의 영상 시퀀스, 15만 개 이상의 프레임(MOT17 대비 약 15배), 그리고 160만 개 이상의 경계상자(MOT17 대비 약 3배)를 포함하고 있다. SportsMOT는 두 가지 핵심 특성을 지닌다: 1) 빠르고 변속이 빈번한 운동, 2) 유사하지만 구분 가능한 외형. 이러한 특성은 MOT 추적기의 운동 기반 및 외형 기반 연관 기술의 발전을 촉진할 것으로 기대된다. 우리는 여러 최신 추적기들을 벤치마크로 평가하고, SportsMOT의 주요 과제가 객체 연관에 있음을 밝혔다. 이를 해결하기 위해, 기존의 탐지 기반 추적기(Tracking-by-detection)에 보조적인 연관 모델로 MixFormer과 유사한 구조를 도입한 새로운 다객체 추적 프레임워크인 \emph{MixSort}를 제안한다. 사용자 정의된 외형 기반 연관과 기존 운동 기반 연관을 통합함으로써, MixSort는 SportsMOT 및 MOT17에서 최고 성능을 달성하였다. MixSort 기반으로 SportsMOT에 대한 심층적 분석을 수행하고, 해당 데이터셋에 대한 중요한 통찰을 제시한다. 본 데이터셋 및 코드는 https://deeperaction.github.io/datasets/sportsmot.html 에 공개될 예정이다.