Ein 3D-Faltung Ansatz zur spektralen Objektsegmentierung im Raum und Zeit

Wir formulieren die Objektsegmentierung in Videos als ein Graphenpartitionierungsproblem im Raum und in der Zeit, bei dem die Knoten Pixel sind und ihre Beziehungen lokale Nachbarschaften bilden. Wir behaupten, dass der stärkste Cluster in diesem Pixel-Level-Graph die bedeutende Objektsegmentierung darstellt. Den Hauptcluster berechnen wir mit einer neuen und schnellen 3D-Filtertechnik, die die spektrale Clustereinteilung löst, nämlich den Haupteigenvektor der Adjazenzmatrix des Graphen, ohne diese explizit zu erstellen – was ansonsten nicht praktikabel wäre. Unsere Methode basiert auf der Potenzmethode zur Bestimmung des Haupteigenvektors einer Matrix, deren Äquivalenz zu einer bestimmten Reihe von 3D-Faltungen im Raum-Zeit-Feature-Volumen wir beweisen. Dies ermöglicht es uns, die Erstellung der Matrix zu vermeiden und eine schnelle parallele Implementierung auf GPU durchzuführen. Wir zeigen, dass unsere Methode viel schneller ist als die klassische Potenzmethode, die direkt auf der Adjazenzmatrix angewendet wird. Im Gegensatz zu anderen Arbeiten ist unsere Methode darauf ausgerichtet, die Objekt-Konsistenz im Raum und in der Zeit auf Pixel-Ebene zu gewährleisten. Dafür sind leistungsfähige pixelweise Features auf Frame-Ebene erforderlich. Dies macht sie ideal für die Einbindung des Outputs eines Backbone-Netzes oder anderer Methoden geeignet und ermöglicht es uns, deren Lösung ohne Aufsicht kontinuierlich zu verbessern. In Experimenten erzielen wir konsistente Verbesserungen mit demselben Satz von Hyperparametern gegenüber den besten Stand-of-the-Art-Methoden im DAVIS-2016-Datensatz sowohl bei unüberwachten als auch bei halbüberwachten Aufgaben. Auch auf dem bekannten SegTrackv2-Datensatz erreichen wir Spitzenresultate.