Apprentissage de l'association de données pour le suivi d'objets multiples utilisant uniquement des coordonnées

Nous proposons un nouveau module basé sur le Transformer pour résoudre le problème d’association de données en suivi multi-objets. À partir des détections fournies par un détecteur pré-entraîné, ce module utilise uniquement les coordonnées des boîtes englobantes pour estimer un score d'affinité entre des paires de trajectoires extraites à partir de deux fenêtres temporelles distinctes. Ce module, nommé TWiX, est entraîné sur des ensembles de trajectoires afin de distinguer les paires de trajectoires provenant du même objet de celles provenant d’objets différents. Contrairement aux approches classiques, notre module ne fait pas appel à la mesure d’intersection sur union (IoU), ni à des priori de mouvement, ni à des techniques de compensation du mouvement de la caméra. En intégrant TWiX dans une pipeline de correspondance en cascade en ligne, notre suiveur C-TWiX atteint des performances de pointe sur les jeux de données DanceTrack et KITTIMOT, tout en obtenant des résultats compétitifs sur MOT17. Le code source sera rendu disponible à la publication.