URVOS : Réseau de segmentation d'objets vidéo référentiels unifié avec une base de données à grande échelle

Nous proposons un réseau unifié de segmentation d'objets dans les vidéos par référence linguistique (URVOS). URVOS prend en entrée une vidéo et une expression référentielle, et estime les masques des objets mentionnés par l'expression linguistique dans l'ensemble des cadres vidéo. Notre algorithme aborde ce problème difficile en effectuant conjointement la segmentation d'objets basée sur le langage et la propagation de masques à l'aide d'un seul réseau neuronal profond, combinant de manière appropriée deux modèles d'attention. En outre, nous avons construit le premier jeu de données à grande échelle pour la segmentation d'objets vidéo référentielle, appelé Refer-Youtube-VOS. Nous évaluons notre modèle sur deux jeux de données de référence, dont le nôtre, et démontrons l'efficacité de l'approche proposée. Le jeu de données est disponible à l'adresse suivante : url{https://github.com/skynbe/Refer-Youtube-VOS}.