HyperAIHyperAI

Command Palette

Search for a command to run...

Entkopplung von Merkmalen in der hierarchischen Ausbreitung für die Video-Objekt-Segmentierung

Zongxin Yang Yi Yang

Zusammenfassung

Dieses Papier konzentriert sich auf die Entwicklung einer effektiveren Methode der hierarchischen Verbreitung für semi-überwachtes Videoobjektsegmentierung (VOS). Basierend auf Visionstransformatoren führt der kürzlich entwickelte Ansatz "Associating Objects with Transformers" (AOT) hierarchische Verbreitung in die VOS ein und hat vielversprechende Ergebnisse gezeigt. Die hierarchische Verbreitung kann Informationen schrittweise von früheren Frames zum aktuellen Frame vermitteln und das Merkmalsprofil des aktuellen Frames von objektunabhängig zu objektspezifisch übertragen. Allerdings führt der Zuwachs an objektspezifischen Informationen unvermeidlich zu einem Verlust von objektunabhängigen visuellen Informationen in den tieferen Verbreitungsschichten. Um dieses Problem zu lösen und das Lernen von visuellen Einbettungen weiter zu fördern, schlägt dieses Papier einen Ansatz zur Entkopplung von Merkmalen in der hierarchischen Verbreitung (DeAOT) vor. Erstens entkoppelt DeAOT die hierarchische Verbreitung von objektunabhängigen und objektspezifischen Einbettungen, indem er sie in zwei unabhängige Zweige verarbeitet. Zweitens, um den zusätzlichen Rechenaufwand durch die Dual-Branch-Verbreitung auszugleichen, schlagen wir ein effizientes Modul zur Konstruktion der hierarchischen Verbreitung vor, nämlich das Gated Propagation Modul, welches sorgfältig mit Single-Head Attention gestaltet wurde. Ausführliche Experimente zeigen, dass DeAOT sowohl in Genauigkeit als auch Effizienz erheblich besser abschneidet als AOT. Auf YouTube-VOS erreicht DeAOT 86,0 % bei 22,4 fps und 82,0 % bei 53,4 fps. Ohne Testzeit-Augmentierungen erzielen wir neue Stand-of-the-Art-Leistungen auf vier Benchmarks: YouTube-VOS (86,2 %), DAVIS 2017 (86,2 %), DAVIS 2016 (92,9 %) und VOT 2020 (0,622). Projektseite: https://github.com/z-x-yang/AOT.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp