HyperAIHyperAI

Command Palette

Search for a command to run...

Ein 3D-Faltung Ansatz zur spektralen Objektsegmentierung im Raum und Zeit

Elena Burceanu extsuperscript1,2 extsuperscript*, Marius Leordeanu extsuperscript3,4

Zusammenfassung

Wir formulieren die Objektsegmentierung in Videos als ein Graphenpartitionierungsproblem im Raum und in der Zeit, bei dem die Knoten Pixel sind und ihre Beziehungen lokale Nachbarschaften bilden. Wir behaupten, dass der stärkste Cluster in diesem Pixel-Level-Graph die bedeutende Objektsegmentierung darstellt. Den Hauptcluster berechnen wir mit einer neuen und schnellen 3D-Filtertechnik, die die spektrale Clustereinteilung löst, nämlich den Haupteigenvektor der Adjazenzmatrix des Graphen, ohne diese explizit zu erstellen – was ansonsten nicht praktikabel wäre. Unsere Methode basiert auf der Potenzmethode zur Bestimmung des Haupteigenvektors einer Matrix, deren Äquivalenz zu einer bestimmten Reihe von 3D-Faltungen im Raum-Zeit-Feature-Volumen wir beweisen. Dies ermöglicht es uns, die Erstellung der Matrix zu vermeiden und eine schnelle parallele Implementierung auf GPU durchzuführen. Wir zeigen, dass unsere Methode viel schneller ist als die klassische Potenzmethode, die direkt auf der Adjazenzmatrix angewendet wird. Im Gegensatz zu anderen Arbeiten ist unsere Methode darauf ausgerichtet, die Objekt-Konsistenz im Raum und in der Zeit auf Pixel-Ebene zu gewährleisten. Dafür sind leistungsfähige pixelweise Features auf Frame-Ebene erforderlich. Dies macht sie ideal für die Einbindung des Outputs eines Backbone-Netzes oder anderer Methoden geeignet und ermöglicht es uns, deren Lösung ohne Aufsicht kontinuierlich zu verbessern. In Experimenten erzielen wir konsistente Verbesserungen mit demselben Satz von Hyperparametern gegenüber den besten Stand-of-the-Art-Methoden im DAVIS-2016-Datensatz sowohl bei unüberwachten als auch bei halbüberwachten Aufgaben. Auch auf dem bekannten SegTrackv2-Datensatz erreichen wir Spitzenresultate.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Ein 3D-Faltung Ansatz zur spektralen Objektsegmentierung im Raum und Zeit | Paper | HyperAI