Video-Semantische Segmentierung mit störungsbewusster Merkmalskorrektur

Die semantische Segmentierung von Videos ist in den letzten Jahren aufgrund der erheblichen Fortschritte in der semantischen Segmentierung von Bildern stark vorangetrieben worden. Für diese Aufgabe ist die pro-Rahmen-Segmentierung von Bildern in der Praxis in der Regel unakzeptabel, da sie mit hohen Rechenkosten verbunden ist. Um dieses Problem zu bewältigen, nutzen viele Ansätze die flussbasierte Merkmalsweiterleitung, um die Merkmale vorheriger Frames wiederzuverwenden. Allerdings leidet die Schätzung des optischen Flusses zwangsläufig unter Ungenauigkeiten, was zu verzerrten propagierten Merkmalen führt. In diesem Artikel schlagen wir eine verzerrenbewusste Merkmalskorrektur vor, um dieses Problem zu mildern, indem verzerrte propagierte Merkmale korrigiert werden, um die Leistung der Video-Segmentierung zu verbessern. Genauer gesagt, schlagen wir zunächst vor, Verzerrungsmuster von der Merkmals- in die Bildraumdarstellung zu übertragen und eine effektive Vorhersage von Verzerrungskarten durchzuführen. Unter Nutzung der Anleitung durch die Verzerrungskarten entwickeln wir ein Merkmalskorrekturmodul (Feature Correction Module, FCM), um die propagierten Merkmale in verzerrten Bereichen zu korrigieren. Unser vorgeschlagener Ansatz steigert die Genauigkeit der semantischen Video-Segmentierung signifikant mit geringem zusätzlichen Aufwand. Ausführliche experimentelle Ergebnisse auf den Datensätzen Cityscapes und CamVid zeigen, dass unsere Methode die jüngsten State-of-the-Art-Verfahren übertrifft.