UnOVOST: Unsupervised Offline Video Object Segmentation and Tracking

Wir befassen uns mit der unsupervisierten Video-Objekt-Segmentierung (Unsupervised Video Object Segmentation, UVOS), der Aufgabe, automatisch genaue Pixelmasken für auffällige Objekte in einer Videosequenz zu generieren und diese Objekte konsistent über die Zeit zu verfolgen, ohne jegliche Eingabe darüber, welche Objekte verfolgt werden sollen. Um diese Aufgabe zu lösen, stellen wir UnOVOST (Unsupervised Offline Video Object Segmentation and Tracking) als einen einfachen und generischen Algorithmus vor, der in der Lage ist, eine große Vielzahl von Objekten zu verfolgen und zu segmentieren. Der Algorithmus erstellt Tracks in mehreren Stufen: Zunächst werden Segmente zu kurzen, räumlich-zeitlich konsistenten Tracklets gruppiert, die anschließend auf Basis ihrer visuellen Ähnlichkeit zu langfristig konsistenten Objekttracks verschmolzen werden. Um dies zu erreichen, führen wir einen neuartigen, auf Tracklets basierenden Algorithmus zur Datenzusammenführung mittels Forest Path Cutting ein, der zunächst einen Entscheidungs-Wald aus Track-Hypothesen aufbaut und diesen anschließend in Pfade schneidet, die langfristig konsistente Objekttracks bilden. Bei der Bewertung unseres Ansatzes auf dem DAVIS 2017 Unsupervised-Datensatz erzielen wir state-of-the-art Ergebnisse mit einem mittleren J&F-Score von 67,9 % auf dem Val-Set, 58 % auf dem Test-Dev- und 56,4 % auf dem Test-Challenge-Set, wodurch wir den ersten Platz im DAVIS 2019 Unsupervised Video Object Segmentation Challenge belegen. UnOVOST erzielt selbst gegenüber vielen semi-supervisierten Algorithmen konkurrenzfähige Ergebnisse, obwohl kein Hinweis darauf gegeben wird, welche Objekte verfolgt und segmentiert werden sollen.