QDTrack : Apprentissage de similarité quasi-dense pour le suivi multiple d'objets uniquement basé sur l'apparence

L’apprentissage de similarité a été reconnu comme une étape cruciale pour le suivi d’objets. Toutefois, les méthodes existantes de suivi d’objets multiples n’utilisent que des correspondances de vérité terrain éparses comme objectif d’apprentissage, en ignorant la majorité des régions informatives présentes dans les images. Dans cet article, nous proposons une méthode appelée Quasi-Dense Similarity Learning, qui échantillonne de manière dense des centaines de régions d’objets sur une paire d’images afin de réaliser un apprentissage contrastif. Nous combinons cette approche d’apprentissage de similarité avec plusieurs détecteurs d’objets existants pour construire QDTrack (Quasi-Dense Tracking), une méthode qui ne nécessite ni régression de déplacement ni hypothèses a priori sur le mouvement. Nous observons que l’espace de caractéristiques distinctif ainsi obtenu permet une recherche simple par plus proche voisin au moment de l’inférence pour l’association d’objets. Par ailleurs, nous démontrons que notre schéma d’apprentissage de similarité n’est pas limité aux données vidéo, mais peut également apprendre efficacement des similarités entre instances à partir d’entrées statiques, permettant ainsi une performance de suivi compétitive sans nécessiter d’apprentissage sur des vidéos ni de supervision dédiée au suivi. Nous menons des expériences approfondies sur une large variété de benchmarks populaires pour le suivi d’objets multiples (MOT). Nos résultats montrent que, malgré sa simplicité, QDTrack atteint des performances comparables aux méthodes les plus avancées sur tous les benchmarks, établissant un nouveau record sur le benchmark BDD100K MOT à grande échelle, tout en ajoutant un surcoût computationnel négligeable au détecteur.