Dynamisches, kontextsensitives Filternetzwerk für die Video-Salient-Object-Detektion

Die Fähigkeit, inter-frame-Dynamiken zu erfassen, war entscheidend für die Entwicklung der Video-Salient-Object-Detection (VSOD). Obwohl zahlreiche Arbeiten in diesem Bereich große Erfolge erzielt haben, bedarf es weiterer tiefergehender Einsichten in die dynamische Natur dieses Problems. In dieser Arbeit zielen wir darauf ab, folgende Fragen zu beantworten: Wie kann ein Modell sich an dynamische Veränderungen anpassen und feine Unterschiede in der realen Umgebung wahrnehmen; wie können zeitliche Dynamiken effektiv in räumliche Informationen über die Zeit hinweg integriert werden? Dazu stellen wir ein dynamisches, kontextsensitives Filternetzwerk (DCFNet) vor, das über ein dynamisches, kontextsensitives Filtermodul (DCFM) und eine effektive bidirektionale dynamische Fusionsstrategie verfügt. Das vorgeschlagene DCFM eröffnet neue Perspektiven für die Generierung dynamischer Filter durch die Extraktion von ortsspezifischen Affinitäten zwischen aufeinanderfolgenden Bildern. Unsere bidirektionale dynamische Fusionsstrategie fördert die Interaktion zwischen räumlichen und zeitlichen Informationen auf dynamische Weise. Experimentelle Ergebnisse zeigen, dass unsere Methode auf den meisten VSOD-Datensätzen eine state-of-the-art-Leistung erzielt und gleichzeitig eine Echtzeitgeschwindigkeit von 28 fps gewährleistet. Der Quellcode ist öffentlich über https://github.com/OIPLab-DUT/DCFNet verfügbar.