초록
긴 영상에서 객체를 효과적으로 추적하기 위해서는, 가시 상태인 객체에 대한 단기적 연결부터, 장시간 가림 상태에 놓였다가 다시 장면에 등장하는 객체에 대한 장기적 연결에 이르기까지 다양한 문제를 해결해야 한다. 이러한 두 가지 작업을 다루는 기법들은 일반적으로 분리되어 있으며 특정 시나리오에 맞게 설계되며, 최고 성능을 발휘하는 접근법은 종종 다양한 기술의 복합체로 구성된다. 이로 인해 일반성 부족을 겪는 기술적 부담이 큰 해결책이 탄생한다. 본 연구에서는 이러한 하이브리드 접근법의 필요성을 재고하고, 통합적이고 확장 가능한 다객체 추적기인 SUSHI를 제안한다. 우리의 접근법은 긴 영상 클립을 계층적인 하위 클립들로 분할하여 처리함으로써 높은 확장성을 달성한다. 또한 그래프 신경망을 계층의 모든 수준에서 활용함으로써, 시간적 스케일에 걸쳐 통일된 모델 구조를 구현하고, 매우 일반적인 성능을 달성한다. 그 결과, 네 가지 다양한 데이터셋에서 기존 최고 수준의 성능을 크게 상회하는 성과를 얻었다. 코드와 모델은 bit.ly/sushi-mot에서 제공된다.