Unüberwachte Videoobjektsegmentierung mittels Prototypen-Speichernetzwerk

Die unüberwachte Video-Objekt-Segmentierung (Unsupervised Video Object Segmentation) zielt darauf ab, ein Zielobjekt im Video zu segmentieren, ohne eine Ground-Truth-Maske im ersten Frame vorliegen zu haben. Diese anspruchsvolle Aufgabe erfordert das Extrahieren von Merkmalen für die auffälligsten gemeinsamen Objekte innerhalb einer Videosequenz. Diese Herausforderung kann durch die Verwendung von Bewegungsinformationen wie dem optischen Fluss gelöst werden, jedoch führt die alleinige Nutzung der Informationen zwischen benachbarten Frames zu einem schlechten Zusammenhang zwischen entfernten Frames und zu mangelhafter Leistung. Um dieses Problem zu bewältigen, schlagen wir eine neuartige Prototypen-Speicher-Netzwerk-Architektur vor. Das vorgeschlagene Modell extrahiert effektiv die RGB- und Bewegungsinformationen, indem es superpixelbasierte Komponentenprototypen aus den Eingangs-RGB-Bildern und optischen Flusskarten extrahiert. Darüber hinainaus bewertet das Modell die Nützlichkeit der Komponentenprototypen in jedem Frame anhand eines Selbstlernalgorithmus und speichert die nützlichsten Prototypen adaptiv im Speicher, während es veraltete Prototypen verwirft. Wir verwenden die Prototypen in der Speicherbank, um die Maske des nächsten Abfrageframes vorherzusagen, was den Zusammenhang zwischen entfernten Frames verbessert und eine genaue Maskevorhersage unterstützt. Unsere Methode wurde an drei Datensätzen evaluiert und erreicht dabei den aktuellen Stand der Technik (state-of-the-art performance). Durch verschiedene Ablationsstudien beweisen wir die Effektivität des vorgeschlagenen Modells.