HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Flow Guided Recurrent Neural Encoder für die Video-Salient-Object-Detection

{Liang Lin Keze Wang Tianhao Wei Guanbin Li Yuan Xie}

Flow Guided Recurrent Neural Encoder für die Video-Salient-Object-Detection

Abstract

Die Detektion von Bild-Salienz hat in letzter Zeit aufgrund tiefer konvolutioneller neuronalen Netze erhebliche Fortschritte erzielt. Die Erweiterung von state-of-the-art-Salienz-Detektoren von Bildern auf Videos ist jedoch herausfordernd. Die Leistung der Detektion salienter Objekte leidet unter Objekt- oder Kamerabewegungen sowie den starken Änderungen des Erscheinungsbildkontrasts in Videos. In diesem Artikel stellen wir FGRNE (Flow Guided Recurrent Neural Encoder) vor, einen genauen und end-to-end lernbaren Rahmen für die Salienzobjektdetektion in Videos. FGRNE verbessert die zeitliche Kohärenz der pro-Bild-Features, indem es sowohl Bewegungsinformationen in Form von optischem Fluss als auch die sequenzielle Entwicklung von Merkmalen mittels LSTM-Netzwerken nutzt. Es kann als universeller Ansatz betrachtet werden, um jeden auf FCN basierenden statischen Salienz-Detektor auf die Salienzobjektdetektion in Videos zu erweitern. Ausführliche experimentelle Ergebnisse bestätigen die Wirksamkeit jedes einzelnen Bestandteils von FGRNE und zeigen, dass unsere vorgeschlagene Methode auf den öffentlichen Benchmarks DAVIS und FBMS signifikant besser abschneidet als bestehende state-of-the-art-Verfahren.

Benchmarks

BenchmarkMethodikMetriken
video-salient-object-detection-on-davis-2016FGRN
AVERAGE MAE: 0.043
MAX E-MEASURE: 0.917
MAX F-MEASURE: 0.783
S-Measure: 0.838
video-salient-object-detection-on-davsodFGRN
Average MAE: 0.095
S-Measure: 0.701
max E-Measure: 0.765
max F-Measure: 0.589
video-salient-object-detection-on-davsod-1FGRN
Average MAE: 0.126
S-Measure: 0.638
max E-measure: 0.700
video-salient-object-detection-on-davsod-2FGRN
Average MAE: 0.131
S-Measure: 0.608
max E-measure: 0.698
video-salient-object-detection-on-fbms-59FGRN
AVERAGE MAE: 0.088
MAX E-MEASURE: 0.863
MAX F-MEASURE: 0.767
S-Measure: 0.809
video-salient-object-detection-on-mclFGRN
AVERAGE MAE: 0.044
MAX E-MEASURE: 0.817
MAX F-MEASURE: 0.625
S-Measure: 0.709
video-salient-object-detection-on-uvsdFGRN
Average MAE: 0.042
S-Measure: 0.745
max E-measure: 0.887
video-salient-object-detection-on-visalFGRN
Average MAE: 0.045
S-Measure: 0.861
max E-measure: 0.945
video-salient-object-detection-on-vos-tFGRN
Average MAE: 0.097
S-Measure: 0.715
max E-measure: 0.797

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Flow Guided Recurrent Neural Encoder für die Video-Salient-Object-Detection | Forschungsarbeiten | HyperAI