ReMOTS: 자기 지도 다중 객체 추적 및 분할의 정교화

우리는 Multiple Object Tracking and Segmentation (MOTS)의 성능을 개선하기 위해 정제(refinement)를 목표로 하고 있습니다. 그러나 MOTS 결과를 정제하는 것은 여전히 어려운 문제로, 이는 대상 비디오에 외관 특징이 적합하지 않기 때문이며, 이를 구분하기 위한 적절한 임계값(thresholds)을 찾는 것이 어렵기 때문입니다. 이러한 문제를 해결하기 위해, 우리는 자가 감독 정제 MOTS(즉, ReMOTS) 프레임워크를 제안합니다. ReMOTS는 데이터 연관성 측면에서 MOTS 결과를 정제하기 위해 주로 네 단계를 거칩니다.예측된 마스크(mask)를 사용하여 외관 인코더(appearance encoder)를 훈련시킵니다.인접한 프레임 간의 관찰치들을 연결하여 단기 추적 조각(short-term tracklets)을 형성합니다.단기 추적 조각을 신뢰할 수 있는 가짜 라벨(pseudo labels)로 사용하여 외관 인코더를 훈련시킵니다.채택된 외관 특징과 통계 정보에서 자동으로 얻은 임계값을 활용하여 단기 추적 조각을 장기 추적 조각(long-term tracklets)으로 통합합니다.ReMOTS를 사용하여, 우리는 CVPR 2020 MOTS 챌린지 1에서 1위를 차지하였으며, sMOTSA 점수가 69.9점을 기록하였습니다.