HyperAIHyperAI

Command Palette

Search for a command to run...

FEELVOS: Schnelles end-to-end Einbettungslernen für die Segmentierung von Videoobjekten

Paul Voigtlaender Yuning Chai Florian Schroff Hartwig Adam Bastian Leibe Liang-Chieh Chen

Zusammenfassung

Viele der neueren erfolgreichen Methoden für die Video-Objekt-Segmentierung (VOS) sind übermäßig komplex, hängen stark von einer Feinabstimmung am ersten Frame ab und/oder sind langsam, wodurch ihre praktische Anwendung begrenzt ist. In dieser Arbeit schlagen wir FEELVOS als eine einfache und schnelle Methode vor, die nicht auf eine Feinabstimmung angewiesen ist. Um ein Video zu segmentieren, verwendet FEELVOS für jeden Frame eine semantische pixelweise Einbettung zusammen mit einem globalen und lokalen Matching-Mechanismus, um Informationen vom ersten Frame und vom vorherigen Frame des Videos zum aktuellen Frame zu transferieren. Im Gegensatz zu früheren Arbeiten wird unsere Einbettung nur als interne Leitlinie eines Faltungsnetzes genutzt. Unser neuartiger dynamischer Segmentierungs-Head ermöglicht es uns, das Netzwerk einschließlich der Einbettung für die Mehrfach-Objekt-Segmentierungsaufgabe mit einem Kreuzentropieverlust end-to-end zu trainieren. Wir erreichen einen neuen Stand der Technik in der Video-Objekt-Segmentierung ohne Feinabstimmung mit einem J&F-Wert von 71,5% auf dem DAVIS 2017 Validierungsdatensatz. Unsere Code- und Modelldateien stellen wir unter https://github.com/tensorflow/models/tree/master/research/feelvos zur Verfügung.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp