Attention aux Prototypes Dual pour la Segmentation d'Objets Vidéo Non Supervisée

La segmentation d'objets vidéo non supervisée (VOS) vise à détecter et segmenter l'objet le plus saillant dans les vidéos. Les principales techniques utilisées en VOS non supervisée sont : 1) la collaboration des informations d'apparence et de mouvement ; et 2) la fusion temporelle entre différentes images. Cet article propose deux nouveaux mécanismes d'attention basés sur des prototypes, l'attention inter-modalité (IMA) et l'attention inter-images (IFA), pour intégrer ces techniques par une propagation dense à travers différentes modalités et images. L'IMA intègre de manière dense les informations contextuelles provenant de différentes modalités grâce à un affinement mutuel. L'IFA injecte le contexte global d'une vidéo dans l'image requête, permettant une utilisation complète des propriétés utiles provenant de plusieurs images. Les résultats expérimentaux sur des jeux de données de référence publics montrent que notre approche proposée surpassent toutes les méthodes existantes avec une marge considérable. Les deux composants proposés sont également validés de manière approfondie par une étude ablationnelle.