ReMOTS: Selbstüberwachtes Verfeinern der Mehrfachobjektverfolgung und -segmentierung

Wir streben danach, die Leistung von Mehrfachobjektverfolgung und -segmentierung (MOTS) durch Verfeinerung zu verbessern. Allerdings bleibt die Verfeinerung von MOTS-Ergebnissen eine Herausforderung, was darauf zurückzuführen ist, dass Erscheinungsmerkmale nicht an Zielvideos angepasst sind und es schwierig ist, geeignete Schwellenwerte zu finden, um sie zu unterscheiden. Um dieses Problem anzugehen, schlagen wir ein selbstüberwachtes Verfeinerungsframework für MOTS vor (ReMOTS). ReMOTS verfeinert MOTS-Ergebnisse hauptsächlich in vier Schritten aus der Perspektive der Datenassoziation:(1) Training des Erscheinungscodiers mit vorhergesagten Masken.(2) Zuordnung von Beobachtungen über benachbarte Frames hinweg, um kurze Tracklets zu bilden.(3) Training des Erscheinungscodiers unter Verwendung kurzer Tracklets als verlässliche Pseudolabels.(4) Zusammenführung kurzer Tracklets zu langen Tracklets unter Nutzung angepasster Erscheinungsmerkmale und Schwellenwerte, die automatisch aus statistischen Informationen abgeleitet werden.Mit ReMOTS erreichten wir den 1. Platz beim CVPR 2020 MOTS Challenge 1 mit einem sMOTSA-Wert von 69,9.