Vers une segmentation robuste d'objets vidéo avec une calibration d'objet adaptative

Dans l'ère en pleine expansion de la vidéo, le segmentage vidéo attire une attention croissante au sein de la communauté multimédia. Le segmentage d'objets vidéo semi-supervisé (VOS) vise à segmenter les objets dans toutes les images cibles d'une vidéo, en se basant sur des masques d'objets annotés des images de référence. La plupart des méthodes existantes établissent des corrélations pixel par pixel entre les images de référence et les images cibles, puis effectuent un suivi pixel par pixel pour obtenir les masques cibles. En négligeant les indices au niveau objet, ces approches au niveau pixel rendent le suivi vulnérable aux perturbations et peuvent même ne pas distinguer entre des objets similaires.Pour un VOS plus robuste, l'idée clé est de calibrer la représentation et le masque de chaque objet spécifique afin qu'ils soient expressifs et discriminants. À cet effet, nous proposons un nouveau réseau profond capable d'adapter dynamiquement les représentations d'objets et de calibrer leurs masques pour atteindre une robustesse accrue. Premièrement, nous construisons les représentations d'objets en appliquant une méthode d'agrégation adaptative de proxy d'objet (AOP), où les proxies représentent des segments de formes arbitraires à plusieurs niveaux pour servir de référence. Ensuite, des masques prototypes sont initialement générés à partir des corrélations entre les images de référence et les images cibles basées sur AOP. Par la suite, ces proto-masques sont davantage calibrés par modulation du réseau, conditionnée aux représentations de proxy d'objet. Nous consolidons ce processus de calibration conditionnelle de masque progressivement, où les représentations d'objets et les proto-masques évoluent itérativement pour être plus discriminants.Des expériences approfondies ont été menées sur les benchmarks standards VOS, YouTube-VOS-18/19 et DAVIS-17. Notre modèle atteint des performances à l'état de l'art parmi les travaux publiés existants et montre également une robustesse supérieure face aux perturbations. Notre dépôt de projet est disponible à l'adresse suivante : https://github.com/JerryX1110/Robust-Video-Object-Segmentation