Flow Guided Recurrent Neural Encoder für die Video-Salient-Object-Detection
{Liang Lin Keze Wang Tianhao Wei Guanbin Li Yuan Xie}

Abstract
Die Detektion von Bild-Salienz hat in letzter Zeit aufgrund tiefer konvolutioneller neuronalen Netze erhebliche Fortschritte erzielt. Die Erweiterung von state-of-the-art-Salienz-Detektoren von Bildern auf Videos ist jedoch herausfordernd. Die Leistung der Detektion salienter Objekte leidet unter Objekt- oder Kamerabewegungen sowie den starken Änderungen des Erscheinungsbildkontrasts in Videos. In diesem Artikel stellen wir FGRNE (Flow Guided Recurrent Neural Encoder) vor, einen genauen und end-to-end lernbaren Rahmen für die Salienzobjektdetektion in Videos. FGRNE verbessert die zeitliche Kohärenz der pro-Bild-Features, indem es sowohl Bewegungsinformationen in Form von optischem Fluss als auch die sequenzielle Entwicklung von Merkmalen mittels LSTM-Netzwerken nutzt. Es kann als universeller Ansatz betrachtet werden, um jeden auf FCN basierenden statischen Salienz-Detektor auf die Salienzobjektdetektion in Videos zu erweitern. Ausführliche experimentelle Ergebnisse bestätigen die Wirksamkeit jedes einzelnen Bestandteils von FGRNE und zeigen, dass unsere vorgeschlagene Methode auf den öffentlichen Benchmarks DAVIS und FBMS signifikant besser abschneidet als bestehende state-of-the-art-Verfahren.
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| video-salient-object-detection-on-davis-2016 | FGRN | AVERAGE MAE: 0.043 MAX E-MEASURE: 0.917 MAX F-MEASURE: 0.783 S-Measure: 0.838 |
| video-salient-object-detection-on-davsod | FGRN | Average MAE: 0.095 S-Measure: 0.701 max E-Measure: 0.765 max F-Measure: 0.589 |
| video-salient-object-detection-on-davsod-1 | FGRN | Average MAE: 0.126 S-Measure: 0.638 max E-measure: 0.700 |
| video-salient-object-detection-on-davsod-2 | FGRN | Average MAE: 0.131 S-Measure: 0.608 max E-measure: 0.698 |
| video-salient-object-detection-on-fbms-59 | FGRN | AVERAGE MAE: 0.088 MAX E-MEASURE: 0.863 MAX F-MEASURE: 0.767 S-Measure: 0.809 |
| video-salient-object-detection-on-mcl | FGRN | AVERAGE MAE: 0.044 MAX E-MEASURE: 0.817 MAX F-MEASURE: 0.625 S-Measure: 0.709 |
| video-salient-object-detection-on-uvsd | FGRN | Average MAE: 0.042 S-Measure: 0.745 max E-measure: 0.887 |
| video-salient-object-detection-on-visal | FGRN | Average MAE: 0.045 S-Measure: 0.861 max E-measure: 0.945 |
| video-salient-object-detection-on-vos-t | FGRN | Average MAE: 0.097 S-Measure: 0.715 max E-measure: 0.797 |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.