ALBA: Reinforcement Learning für die Videoobjektsegmentierung

Wir betrachten das herausfordernde Problem der zero-shot Video-Objekt-Segmentierung (VOS). Dies beinhaltet die vollautomatische Segmentierung und Verfolgung mehrerer bewegter Objekte innerhalb eines Videos ohne manuelle Initialisierung. Wir behandeln dies als ein Gruppierungsproblem, indem wir Objektvorschläge nutzen und eine gemeinsame Inferenz über Raum und Zeit durchführen. Wir schlagen eine Netzwerkarchitektur vor, die es ermöglicht, Vorschlagsauswahl und gemeinsame Gruppierung auf praktikable Weise durchzuführen. Entscheidend ist, dass wir zeigen, wie dieses Netzwerk mit Reinforcement Learning trainiert werden kann, sodass es lernt, die optimale nicht myopische Folge von Gruppierungsentscheidungen zu treffen, um das gesamte Video zu segmentieren. Im Gegensatz zu standardmäßigen überwachten Techniken ermöglicht uns dies auch, direkt für die nicht differenzierbaren Überlappungsmaße zu optimieren, die zur Bewertung von VOS verwendet werden. Wir zeigen, dass das vorgeschlagene Verfahren, das wir ALBA nennen, den bisherigen Stand der Technik in drei Benchmarks übertreffen kann: DAVIS 2017 [2], FBMS [20] und Youtube-VOS [27].