Modulation de propagation-correction fiable pour la segmentation d'objets vidéo

La propagation d'erreurs constitue un problème général mais crucial dans le cadre de la segmentation d'objets vidéo semi-supervisée en ligne. Nous visons à supprimer cette propagation d'erreurs grâce à un mécanisme de correction à haute fiabilité. L'idée centrale réside dans le désenchevêtrement du processus de correction par rapport au processus classique de propagation de masques, en s'appuyant sur des indices fiables. Nous introduisons deux modulateurs : un modulateur de propagation et un modulateur de correction, qui effectuent séparément une recalibration canal par canal sur les embeddings de la trame cible, en fonction respectivement des corrélations temporelles locales et des références fiables. Plus précisément, nous combinons ces modulateurs selon une architecture en cascade de propagation-correction, ce qui évite que l'effet du modulateur de correction fiable soit masqué par celui du modulateur de propagation. Bien que la trame de référence étiquetée au sol (ground truth) fournisse des indices fiables, elle peut différer fortement de la trame cible, entraînant ainsi des corrélations incertaines ou incomplètes. Pour pallier ce défaut, nous enrichissons les indices de référence en complétant un pool maintenu avec des patches de caractéristiques fiables, offrant ainsi des représentations d'objets plus complètes et expressives aux modulateurs. En outre, un filtre de fiabilité est conçu pour sélectionner les patches fiables et les transmettre aux trames suivantes. Notre modèle atteint des performances de pointe sur les benchmarks YouTube-VOS18/19 et DAVIS17-Val/Test. Des expériences étendues démontrent que le mécanisme de correction permet une amélioration significative des performances en exploitant pleinement les indications fiables. Le code est disponible à l'adresse suivante : https://github.com/JerryX1110/RPCMVOS.