Détection d'objets saillants dans les vidéos par apprentissage semi-supervisé utilisant des pseudo-étiquettes

La détection d'objets saillants dans les vidéos basée sur l'apprentissage profond (deep learning) a récemment connu un grand succès, avec des performances nettement supérieures à celles de toutes les autres méthodes non supervisées. Cependant, les approches actuelles axées sur les données dépendent fortement d'une grande quantité de cadres vidéo annotés au niveau des pixels pour obtenir ces résultats prometteurs. Dans cet article, nous abordons la tâche de détection d'objets saillants dans les vidéos en régime semi-supervisé en utilisant des pseudo-étiquettes. Plus précisément, nous présentons un détecteur de saillance vidéo efficace composé d'un réseau de raffinement spatial et d'un module spatio-temporel. En nous appuyant sur le même réseau de raffinement et sur les informations de mouvement en termes de flux optique, nous proposons également une nouvelle méthode pour générer des pseudo-étiquettes au niveau des pixels à partir de cadres annotés de manière éparses. En utilisant ces pseudo-étiquettes générées conjointement avec une partie des annotations manuelles, notre détecteur de saillance vidéo apprend des indices spatiaux et temporels pour l'inférence du contraste et l'amélioration de la cohérence, produisant ainsi des cartes de saillance précises. Les résultats expérimentaux montrent que notre méthode semi-supervisée proposée dépasse largement toutes les méthodes entièrement supervisées les plus avancées (state-of-the-art) sur trois benchmarks publics : VOS, DAVIS et FBMS.