Entkopplung von Merkmalen in der hierarchischen Ausbreitung für die Video-Objekt-Segmentierung

Dieses Papier konzentriert sich auf die Entwicklung einer effektiveren Methode der hierarchischen Verbreitung für semi-überwachtes Videoobjektsegmentierung (VOS). Basierend auf Visionstransformatoren führt der kürzlich entwickelte Ansatz "Associating Objects with Transformers" (AOT) hierarchische Verbreitung in die VOS ein und hat vielversprechende Ergebnisse gezeigt. Die hierarchische Verbreitung kann Informationen schrittweise von früheren Frames zum aktuellen Frame vermitteln und das Merkmalsprofil des aktuellen Frames von objektunabhängig zu objektspezifisch übertragen. Allerdings führt der Zuwachs an objektspezifischen Informationen unvermeidlich zu einem Verlust von objektunabhängigen visuellen Informationen in den tieferen Verbreitungsschichten. Um dieses Problem zu lösen und das Lernen von visuellen Einbettungen weiter zu fördern, schlägt dieses Papier einen Ansatz zur Entkopplung von Merkmalen in der hierarchischen Verbreitung (DeAOT) vor. Erstens entkoppelt DeAOT die hierarchische Verbreitung von objektunabhängigen und objektspezifischen Einbettungen, indem er sie in zwei unabhängige Zweige verarbeitet. Zweitens, um den zusätzlichen Rechenaufwand durch die Dual-Branch-Verbreitung auszugleichen, schlagen wir ein effizientes Modul zur Konstruktion der hierarchischen Verbreitung vor, nämlich das Gated Propagation Modul, welches sorgfältig mit Single-Head Attention gestaltet wurde. Ausführliche Experimente zeigen, dass DeAOT sowohl in Genauigkeit als auch Effizienz erheblich besser abschneidet als AOT. Auf YouTube-VOS erreicht DeAOT 86,0 % bei 22,4 fps und 82,0 % bei 53,4 fps. Ohne Testzeit-Augmentierungen erzielen wir neue Stand-of-the-Art-Leistungen auf vier Benchmarks: YouTube-VOS (86,2 %), DAVIS 2017 (86,2 %), DAVIS 2016 (92,9 %) und VOT 2020 (0,622). Projektseite: https://github.com/z-x-yang/AOT.