HyperAIHyperAI

Command Palette

Search for a command to run...

Zeitlich Konsistente Referenzbasierte Videoobjektsegmentierung mit Hybrider Speicherung

Bo Miao Yongxin Zhang Xiaowei Liu

Zusammenfassung

Methoden zur referenzbasierten Videoobjektsegmentierung (R-VOS) stehen vor der Herausforderung, eine konsistente Objektsegmentierung aufrechtzuerhalten, aufgrund der Variabilität des zeitlichen Kontexts und der Anwesenheit anderer visuell ähnlicher Objekte. Wir schlagen ein end-to-end R-VOS-Paradigma vor, das die zeitliche Instanzkonsistenz explizit neben der referenzbasierten Segmentierung modelliert. Insbesondere führen wir ein neues hybrides Gedächtnis ein, das die Zusammenarbeit zwischen Frames fördert und so eine robuste räumlich-zeitliche Zuordnung und -ausbreitung ermöglicht. Merkmale von Frames mit automatisch generierten hochwertigen Referenzmasken werden basierend auf einer mehrstufigen Assoziation propagiert, um eine zeitlich konsistente R-VOS zu erreichen. Darüber hinaus schlagen wir eine neue Metrik namens Maskenkonsistenzzahl (MCS) vor, um die zeitliche Konsistenz der Videosegmentierung zu bewerten. Ausführliche Experimente zeigen, dass unser Ansatz die zeitliche Konsistenz erheblich verbessert und zu Spitzenleistungen bei gängigen R-VOS-Benchmarks führt, wie z.B. Ref-YouTube-VOS (67,1 %) und Ref-DAVIS17 (65,6 %). Der Quellcode ist unter https://github.com/bo-miao/HTR verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp