TrickVOS: Eine Sammlung von Tricks für die Video-Objekt-Segmentierung

Raum-Zeit-Speichernetzwerk-Methoden (STM) haben sich aufgrund ihrer bemerkenswerten Leistung in der semi-überwachten Videoobjektssegmentierung (SVOS) durchgesetzt. In dieser Arbeit identifizieren wir drei wesentliche Aspekte, bei denen solche Methoden verbessert werden können: i) das überwachende Signal, ii) die Vortraining und iii) die räumliche Wahrnehmung. Wir schlagen dann TrickVOS vor; eine generische, methodeunabhängige Sammlung von Tricks, die jeden Aspekt mit i) einem strukturbewussten hybriden Verlust, ii) einem einfachen Vortrainingsschema für den Dekoder und iii) einem kostengünstigen Tracker behandelt, der räumliche Einschränkungen in den Modellvorhersagen auferlegt. Schließlich stellen wir ein leichtgewichtiges Netzwerk vor und zeigen, dass es bei Anwendung von TrickVOS wettbewerbsfähige Ergebnisse gegenüber den neuesten Methoden auf den Benchmarks DAVIS und YouTube erzielt, während es eines der ersten STM-basierten SVOS-Verfahren ist, die in Echtzeit auf einem mobilen Gerät ausgeführt werden können.