Flow Guided Recurrent Neural Encoder für die Video-Salient-Object-Detection

Die Detektion von Bild-Salienz hat in letzter Zeit aufgrund tiefer konvolutioneller neuronalen Netze erhebliche Fortschritte erzielt. Die Erweiterung von state-of-the-art-Salienz-Detektoren von Bildern auf Videos ist jedoch herausfordernd. Die Leistung der Detektion salienter Objekte leidet unter Objekt- oder Kamerabewegungen sowie den starken Änderungen des Erscheinungsbildkontrasts in Videos. In diesem Artikel stellen wir FGRNE (Flow Guided Recurrent Neural Encoder) vor, einen genauen und end-to-end lernbaren Rahmen für die Salienzobjektdetektion in Videos. FGRNE verbessert die zeitliche Kohärenz der pro-Bild-Features, indem es sowohl Bewegungsinformationen in Form von optischem Fluss als auch die sequenzielle Entwicklung von Merkmalen mittels LSTM-Netzwerken nutzt. Es kann als universeller Ansatz betrachtet werden, um jeden auf FCN basierenden statischen Salienz-Detektor auf die Salienzobjektdetektion in Videos zu erweitern. Ausführliche experimentelle Ergebnisse bestätigen die Wirksamkeit jedes einzelnen Bestandteils von FGRNE und zeigen, dass unsere vorgeschlagene Methode auf den öffentlichen Benchmarks DAVIS und FBMS signifikant besser abschneidet als bestehende state-of-the-art-Verfahren.