Strong-TransCenter : Amélioration du suivi multi-objets basée sur les Transformers avec des représentations denses

Les réseaux de Transformers ont été au cœur des recherches dans de nombreux domaines ces dernières années, en étant capables de surpasser les performances de pointe dans diverses tâches de vision par ordinateur. Cependant, dans la tâche de suivi multiple d'objets (MOT), l'exploitation du potentiel des Transformers reste relativement sous-exploitée. Parmi les premiers efforts dans ce domaine, TransCenter, une architecture MOT basée sur les Transformers avec des requêtes d'objets denses, a démontré des capacités de suivi exceptionnelles tout en maintenant un temps d'exécution raisonnable. Néanmoins, un aspect critique du MOT, l'estimation du déplacement des pistes, offre encore des possibilités d'amélioration pour réduire davantage les erreurs d'association. En réponse à ce défi, notre article introduit une nouvelle amélioration à TransCenter. Nous proposons un mécanisme de post-traitement fondé sur le paradigme Track-by-Detection, visant à affiner l'estimation du déplacement des pistes. Notre approche consiste à intégrer un filtre de Kalman soigneusement conçu, qui incorpore les sorties des Transformers dans l'estimation de l'erreur de mesure, ainsi qu'à utiliser un réseau d'embedding pour la ré-identification des cibles. Cette stratégie combinée apporte une amélioration substantielle en termes de précision et de robustesse du processus de suivi. Nous validons nos contributions grâce à des expériences exhaustives sur les ensembles de données MOTChallenge MOT17 et MOT20, où notre approche proposée surpasse d'autres trackers basés sur les Transformers. Le code est disponible publiquement à l'adresse suivante : https://github.com/amitgalor18/STC_Tracker