MOTS: 다중 객체 추적 및 분할

본 논문은 다중 객체 추적(multi-object tracking)의 인기 있는 작업을 다중 객체 추적 및 분할(multi-object tracking and segmentation, MOTS)으로 확장합니다. 이 목표를 달성하기 위해, 우리는 반자동 주석 절차를 사용하여 두 개의 기존 추적 데이터셋에 대해 밀도 높은 픽셀 단위 주석을 생성했습니다. 우리의 새로운 주석은 10,870개 비디오 프레임에서 977개의 고유한 객체(자동차와 보행자)에 대한 65,213개의 픽셀 마스크를 포함하고 있습니다.평가를 위해, 우리는 기존의 다중 객체 추적 지표들을 이 새로운 작업으로 확장하였습니다. 또한, 우리는 하나의 합성곱 신경망(convolutional network)을 통해 감지(detection), 추적(tracking), 그리고 분할(segmentation)을 동시에 처리하는 새로운 베이스라인 방법을 제안합니다. 우리는 MOTS 주석으로 학습했을 때 성능 향상이 이루어짐을 통해 데이터셋의 가치를 입증하였습니다.우리는 2D 바운딩 박스를 넘어서는 다중 객체 추적 접근 방식 개발에 있어 우리의 데이터셋, 지표, 그리고 베이스라인이 귀중한 자원이 될 것이라고 믿습니다. 우리는 주석, 코드, 그리고 모델들을 https://www.vision.rwth-aachen.de/page/mots 에서 제공합니다.