Suivi de tout en haute qualité

Le suivi d'objets visuels est une tâche fondamentale en vision par ordinateur. Récemment, la puissance considérablement accrue des algorithmes de perception permet l'unification du suivi d'objets simples ou multiples et du suivi basé sur des boîtes englobantes ou des masques. Parmi ces algorithmes, le modèle Segment Anything Model (SAM) attire beaucoup d'attention. Dans ce rapport, nous proposons HQTrack, un cadre pour le suivi de haute qualité de tout objet dans les vidéos. HQTrack se compose principalement d'un segmenteur vidéo multi-objets (VMOS) et d'un affinateur de masques (MR). Étant donné l'objet à suivre dans le premier cadre d'une vidéo, VMOS propage les masques d'objets jusqu'au cadre actuel. Les résultats de masquage à cette étape ne sont pas suffisamment précis car VMOS est formé sur plusieurs jeux de données de segmentation d'objets vidéo (VOS) proches, ce qui limite sa capacité à généraliser aux scènes complexes et aux cas particuliers. Pour améliorer davantage la qualité des masques de suivi, un modèle MR préformé est utilisé pour affiner les résultats de suivi. Comme témoignage convaincant de l'efficacité de notre paradigme, sans utiliser aucune astuce telle que des augmentations de données lors des tests ou des ensembles de modèles, HQTrack occupe la 2e place au défi Visual Object Tracking and Segmentation (VOTS2023). Le code source et les modèles sont disponibles sur https://github.com/jiawen-zhu/HQTrack.