HyperAIHyperAI

Command Palette

Search for a command to run...

Selbstüberwachte Video-Objekt-Segmentierung mit Destillationslernen deformierbarer Aufmerksamkeit

Quang-Trung Truong Duc Thanh Nguyen Binh-Son Hua Sai-Kit Yeung

Zusammenfassung

Die Video-Objekt-Segmentation ist ein grundlegendes Forschungsproblem im Bereich der Computer Vision. Aktuelle Techniken wenden häufig die Aufmerksamkeitsmechanismen zur Lernung von Objektdarstellungen aus Videosequenzen an. Allerdings können die Aufmerksamkeitskarten aufgrund zeitlicher Veränderungen in den Videodaten nicht gut mit den interessierenden Objekten über die einzelnen Videobilder hinweg übereinstimmen, was zu akkumulierten Fehlern bei langfristiger Videoverarbeitung führt. Zudem haben bestehende Techniken komplexe Architekturen verwendet, die eine hohe Rechenkomplexität erfordern und somit die Integration der Video-Objekt-Segmentation in Geräte mit geringer Leistungsfähigkeit einschränken.Um diese Probleme zu lösen, schlagen wir eine neue Methode für selbstüberwachte Video-Objekt-Segmentation vor, die auf der Destillationslernen von deformierbaren Aufmerksamkeitsmechanismen basiert. Insbesondere entwickeln wir eine leichte Architektur für die Video-Objekt-Segmentation, die effektiv an zeitliche Veränderungen angepasst wird. Dies wird durch den deformierbaren Aufmerksamkeitsmechanismus ermöglicht, bei dem die Schlüssel und Werte, die das Gedächtnis einer Videosequenz im Aufmerksamkeitsmodul erfassen, flexibel über die Bilder hinweg aktualisiert werden. Die gelernten Objektdarstellungen sind daher sowohl in der räumlichen als auch in der zeitlichen Dimension anpassbar.Wir trainieren die vorgeschlagene Architektur in einem selbstüberwachten Modus durch ein neues Paradigma des Wissensdestillations, bei dem deformierte Aufmerksamkeitskarten in den Destillationsverlust integriert werden. Wir bewerten unsere Methode sowohl qualitativ als auch quantitativ und vergleichen sie mit bestehenden Methoden auf Benchmark-Datensätzen wie DAVIS 2016/2017 und YouTube-VOS 2018/2019. Die experimentellen Ergebnisse bestätigen die Überlegenheit unserer Methode durch ihre erstklassige Leistung und optimale Speicherverwendung.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp