Découplage des Caractéristiques dans la Propagation Hiérarchique pour la Segmentation d'Objets Vidéo

Ce document se concentre sur le développement d'une méthode plus efficace de propagation hiérarchique pour la segmentation d'objets vidéo semi-supervisée (VOS). Basée sur les transformateurs visuels, l'approche récemment développée Associating Objects with Transformers (AOT) introduit la propagation hiérarchique dans la VOS et a montré des résultats prometteurs. La propagation hiérarchique peut progressivement propager les informations des frames précédentes à la frame actuelle et transférer les caractéristiques de la frame actuelle du niveau non spécifique aux objets au niveau spécifique aux objets. Cependant, l'augmentation des informations spécifiques aux objets entraîne inévitablement une perte d'informations visuelles non spécifiques aux objets dans les couches profondes de propagation. Pour résoudre ce problème et faciliter davantage l'apprentissage des plongements visuels, ce document propose une approche de Découplage des Caractéristiques dans la Propagation Hiérarchique (DeAOT). Premièrement, DeAOT découple la propagation hiérarchique des plongements non spécifiques et spécifiques aux objets en les traitant dans deux branches indépendantes. Deuxièmement, pour compenser le calcul supplémentaire résultant de la propagation à double branche, nous proposons un module efficace pour construire la propagation hiérarchique, à savoir le Module de Propagation Géré (Gated Propagation Module), qui est soigneusement conçu avec une attention mono-tête. Des expériences étendues montrent que DeAOT dépasse significativement AOT en termes de précision et d'efficacité. Sur YouTube-VOS, DeAOT peut atteindre 86,0% à 22,4 fps et 82,0% à 53,4 fps. Sans augmentations lors des tests, nous obtenons de nouvelles performances record sur quatre benchmarks : YouTube-VOS (86,2%), DAVIS 2017 (86,2%), DAVIS 2016 (92,9%) et VOT 2020 (0,622). Page du projet : https://github.com/z-x-yang/AOT.