Apprentissage de la segmentation d'objets vidéo à partir d'images statiques

Inspiration tirée des récentes avancées de l'apprentissage profond dans le domaine du segmention d'instances et du suivi d'objets, nous présentons le problème de segmentation d'objets vidéo comme un concept de segmention d'instances guidée. Notre modèle traite chaque image séquentiellement, guidé par la sortie de l'image précédente vers l'objet d'intérêt dans l'image suivante. Nous montrons qu'une segmentation d'objets très précise dans les vidéos peut être rendue possible en utilisant un réseau de neurones convolutifs (convnet) formé uniquement avec des images statiques. L'ingrédient clé de notre approche est une combinaison de stratégies d'apprentissage hors ligne et en ligne, où la première sert à produire un masque affiné à partir de l'estimation de l'image précédente et la seconde permet de capturer l'apparence de l'instance d'objet spécifique. Notre méthode peut gérer différents types d'annotations d'entrée : boîtes englobantes et segments, ainsi que plusieurs images annotées, ce qui rend le système adapté à diverses applications. Nous obtenons des résultats compétitifs sur trois jeux de données différents, indépendamment du type d'annotation d'entrée utilisé.