HyperAIHyperAI

Command Palette

Search for a command to run...

Lernen von Position und Zielkonsistenz für memoriabasierte Video-Objekt-Segmentierung

Li Hu Peng Zhang Bang Zhang Pan Pan Yinghui Xu Rong Jin

Zusammenfassung

Dieses Papier untersucht das Problem der semi-überwachten VideoobjektsSegmentierung (VOS). Mehrere Arbeiten haben gezeigt, dass speicherbasierte Ansätze für die VideoobjektsSegmentierung effektiv sein können. Sie basieren in der Regel auf pixelbasiertem Matching, sowohl räumlich als auch zeitlich. Der Hauptnachteil von speicherbasierten Ansätzen besteht darin, dass sie die sequenzielle Reihenfolge der Frames nicht berücksichtigen und Wissen auf Objektebene vom Ziel nicht nutzen. Um diese Einschränkung zu überwinden, schlagen wir ein Framework zur Lernposition und Zielkonsistenz für speicherbasierte VideoobjektsSegmentierung vor, das als LCM (Learn position and target Consistency framework) bezeichnet wird. Es wendet den Speichermechanismus an, um Pixel global zu retrivieren, und lernt gleichzeitig die Positionskonsistenz für eine zuverlässigere Segmentierung. Die gelernte Lokalisierungsantwort fördert eine bessere Unterscheidbarkeit zwischen dem Ziel und Störelementen. Darüber hinaus führt LCM eine Beziehung auf Objektebene vom Ziel ein, um die Zielkonsistenz aufrechtzuerhalten und LCM gegenüber Fehlern im Verlauf robuster zu machen. Experimente zeigen, dass unser LCM sowohl auf dem DAVIS- als auch auf dem Youtube-VOS-Benchmark state-of-the-art-Leistungen erzielt. In der DAVIS 2020 Challenge erreichen wir den 1. Platz in der semi-überwachten VOS-Aufgabe.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp