Apprentissage contrastif pour le suivi d'objets multiples avec des Transformers

Le DETR (Detection Transformer) a ouvert de nouvelles perspectives pour la détection d'objets en modélisant cette tâche comme un problème de traduction : la conversion de caractéristiques d'image en représentations au niveau des objets. Les travaux antérieurs ont généralement ajouté des modules coûteux au DETR afin de réaliser le suivi d'objets multiples (MOT), entraînant ainsi des architectures plus complexes. Nous montrons au contraire comment transformer le DETR en modèle de MOT en utilisant une perte contrastive au niveau des instances, une stratégie d'échantillonnage révisée et une méthode légère d'affectation. Notre méthode d'entraînement permet d'apprendre les apparences des objets tout en préservant les performances de détection, avec un surcoût négligeable. Ses résultats dépassent l'état de l'art précédent de +2,6 mMOTA sur le dataset exigeant BDD100K, et sont comparables aux méthodes basées sur les transformateurs existantes sur le dataset MOT17.