HyperAIHyperAI

Command Palette

Search for a command to run...

UnOVOST: Unsupervised Offline Video Object Segmentation and Tracking

Jonathon Luiten Idil Esen Zulfikar Bastian Leibe

Zusammenfassung

Wir befassen uns mit der unsupervisierten Video-Objekt-Segmentierung (Unsupervised Video Object Segmentation, UVOS), der Aufgabe, automatisch genaue Pixelmasken für auffällige Objekte in einer Videosequenz zu generieren und diese Objekte konsistent über die Zeit zu verfolgen, ohne jegliche Eingabe darüber, welche Objekte verfolgt werden sollen. Um diese Aufgabe zu lösen, stellen wir UnOVOST (Unsupervised Offline Video Object Segmentation and Tracking) als einen einfachen und generischen Algorithmus vor, der in der Lage ist, eine große Vielzahl von Objekten zu verfolgen und zu segmentieren. Der Algorithmus erstellt Tracks in mehreren Stufen: Zunächst werden Segmente zu kurzen, räumlich-zeitlich konsistenten Tracklets gruppiert, die anschließend auf Basis ihrer visuellen Ähnlichkeit zu langfristig konsistenten Objekttracks verschmolzen werden. Um dies zu erreichen, führen wir einen neuartigen, auf Tracklets basierenden Algorithmus zur Datenzusammenführung mittels Forest Path Cutting ein, der zunächst einen Entscheidungs-Wald aus Track-Hypothesen aufbaut und diesen anschließend in Pfade schneidet, die langfristig konsistente Objekttracks bilden. Bei der Bewertung unseres Ansatzes auf dem DAVIS 2017 Unsupervised-Datensatz erzielen wir state-of-the-art Ergebnisse mit einem mittleren J&F-Score von 67,9 % auf dem Val-Set, 58 % auf dem Test-Dev- und 56,4 % auf dem Test-Challenge-Set, wodurch wir den ersten Platz im DAVIS 2019 Unsupervised Video Object Segmentation Challenge belegen. UnOVOST erzielt selbst gegenüber vielen semi-supervisierten Algorithmen konkurrenzfähige Ergebnisse, obwohl kein Hinweis darauf gegeben wird, welche Objekte verfolgt und segmentiert werden sollen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp