Réseaux de Prototypical Cross-Attention pour le Suivi et la Segmentation d'Objets Multiples

Le suivi et le segmentage de multiples objets nécessitent la détection, le suivi et le segmentage d'objets appartenant à un ensemble de classes données. La plupart des approches ne s'appuient que sur la dimension temporelle pour résoudre le problème d'association, tout en se basant sur les prédictions mono-image pour le masque de segmentation lui-même. Nous proposons le réseau de croisée-attention prototypique (PCAN), capable d'exploiter des informations spatio-temporelles riches pour le suivi et le segmentage en ligne de multiples objets. Le PCAN distille d'abord une mémoire espace-temps en un ensemble de prototypes, puis utilise la croisée-attention pour récupérer des informations riches à partir des images passées. Pour segmenter chaque objet, le PCAN adopte un module d'apparence prototypique pour apprendre un ensemble de prototypes contrastés du premier plan et de l'arrière-plan, qui sont ensuite propagés dans le temps. De nombreuses expériences montrent que le PCAN surpasse les gagnants actuels des compétitions de suivi et de segmentation d'instances vidéo sur les jeux de données Youtube-VIS et BDD100K, et qu'il est efficace dans les cadres de segmentation mono-étape et bi-étape. Le code source et les ressources vidéo sont disponibles à l'adresse http://vis.xyz/pub/pcan.