연결성을 활용한 다중 객체 추적: TrackletNet을 이용한 방법

다중 객체 추적(Multi-object tracking, MOT)은 감시 시스템과 자율 주행, 로봇 비전 등 이동 카메라 응용 프로그램과 관련된 중요한 실용적인 작업입니다. 그러나 검출의 신뢰성 부족, 가림 현상 및 빠른 카메라 움직임으로 인해 추적 대상이 쉽게 잃어버려지기 때문에, MOT는 매우 어려운 과제입니다. 최근 대부분의 연구에서는 추적을 재식별(Re-identification, Re-ID) 작업으로 다루지만, 외관 정보와 시간 정보를 어떻게 결합할지는 아직 충분히 해결되지 않았습니다. 본 논문에서는 시간 정보와 외관 정보를 통합된 프레임워크로 결합하는 혁신적이고 효과적인 추적 방법인 TrackletNet Tracker (TNT)를 제안합니다. 먼저, 각 트랙렛(tracklet)을 정점(vertex)으로 처리하는 그래프 모델을 정의합니다. 트랙렛은 CNN 특징을 사용한 외관 유사성과 에피폴라 제약 조건(epipolar constraints)을 사용한 IoU(Intersection-over-Union)로 생성되며, 이는 인접 프레임 간의 카메라 움직임을 보완하기 위함입니다. 그 다음, 두 개의 트랙렛 쌍마다 우리가 설계한 다중 스케일 TrackletNet으로 유사성을 측정합니다. 이후 트랙렛들은 개별 객체 ID를 나타내는 그룹으로 클러스터링됩니다. 제안된 TNT는 MOT에서 대부분의 도전 과제를 처리할 수 있으며, 다른 최신 기법들과 비교하여 MOT16 및 MOT17 벤치마크 데이터셋에서 유망한 결과를 달성하였습니다.