Encodage récurrent à neurones guidé par le flux pour la détection des objets saillants dans les vidéos

La détection de la salience d’image a récemment connu des progrès significatifs grâce aux réseaux neuronaux convolutifs profonds. Toutefois, l’extension des détecteurs d’état de l’art de l’image à la vidéo reste un défi. Les performances des méthodes de détection des objets saillants sont compromises par les mouvements des objets ou de la caméra, ainsi que par les variations importantes du contraste d’apparence observées dans les vidéos. Dans cet article, nous proposons FGRNE (Flow Guided Recurrent Neural Encoder), un cadre d’apprentissage précis et end-to-end pour la détection des objets saillants dans les vidéos. Ce modèle améliore la cohérence temporelle des caractéristiques extraites à partir de chaque trame en exploitant à la fois les informations de mouvement exprimées par le flux optique et l’évolution séquentielle des caractéristiques codées par des réseaux LSTM. FGRNE peut être considéré comme un cadre universel permettant d’étendre tout détecteur statique basé sur un FCN (Fully Convolutional Network) à la détection des objets saillants dans les vidéos. Des expérimentations approfondies confirment l’efficacité de chaque composant de FGRNE et démontrent que la méthode proposée surpasse significativement les approches de pointe sur les benchmarks publics DAVIS et FBMS.