Einfache und leistungsstarke globale Optimierung für die unsupervisierte Video-Objekt-Segmentierung

Wir schlagen einen einfachen, aber leistungsfähigen Ansatz für die unüberwachte Objektsegmentierung in Videos vor. Wir führen eine Zielfunktion ein, deren Minimum die Maske des wichtigsten auffälligen Objekts über die Eingabe-Sequenz darstellt. Diese basiert ausschließlich auf unabhängigen Bildmerkmalen und optischen Flüssen, die mithilfe von etablierten selbstüberwachten Methoden gewonnen werden können. Sie skaliert mit der Länge der Sequenz ohne die Notwendigkeit von Superpixeln oder Verdünnung und verallgemeinert sich auf verschiedene Datensätze ohne spezifische Trainingsdaten. Tatsächlich kann diese Zielfunktion aus einer Form des spektralen Clusterns abgeleitet werden, das auf dem gesamten Video angewendet wird. Unsere Methode erreicht vergleichbare Ergebnisse mit dem aktuellen Stand der Technik bei Standard-Benchmarks (DAVIS2016, SegTrack-v2, FBMS59), während sie konzeptionell und praktisch viel einfacher ist. Der Quellcode ist unter https://ponimatkin.github.io/ssl-vos verfügbar.