Associer Tout ce qui est Détecté : Faciliter le Suivi par Détection de l’Inconnu

Le suivi multi-objet (MOT) émerge comme une branche pivotale et extrêmement prometteuse dans le domaine de la vision par ordinateur. Les méthodes classiques de MOT à vocabulaire fermé (CV-MOT) visent à suivre des objets appartenant à des catégories prédéfinies. Récemment, certaines méthodes de MOT à vocabulaire ouvert (OV-MOT) ont réussi à résoudre le problème du suivi de catégories inconnues. Cependant, nous avons constaté que les méthodes CV-MOT et OV-MOT peinent chacune à exceller dans les tâches de l'autre. Dans cet article, nous présentons un cadre unifié, Associate Everything Detected (AED), qui aborde simultanément CV-MOT et OV-MOT en s'intégrant avec n'importe quel détecteur prêt à l'emploi et en prenant en charge les catégories inconnues. Contrairement aux méthodes existantes de suivi par détection pour MOT, AED se dispense de connaissances a priori (par exemple, indices de mouvement) et repose uniquement sur un apprentissage robuste des caractéristiques pour gérer des trajectoires complexes dans les tâches OV-MOT tout en conservant d'excellentes performances dans les tâches CV-MOT. Plus précisément, nous modélisons la tâche d'association comme un problème de décodage de similarité et proposons un décodeur sim avec un mécanisme d'apprentissage axé sur l'association. Le décodeur sim calcule les similarités sous trois angles : spatial, temporel et inter-vidéo (cross-clip). Ensuite, l'apprentissage axé sur l'association exploite ces similarités triple pour garantir que les caractéristiques extraites sont appropriées pour le suivi continu et suffisamment robustes pour généraliser aux catégories inconnues. Comparativement aux méthodes puissantes existantes en OV-MOT et CV-MOT, AED obtient des performances supérieures sur TAO, SportsMOT et DanceTrack sans aucune connaissance a priori. Notre code est disponible sur https://github.com/balabooooo/AED.