Détection d'objets conjointe et suivi multi-objets avec des réseaux de neurones graphes

La détection d’objets et l’association de données constituent des composants essentiels dans les systèmes de suivi d’objets multiples (MOT). Bien que ces deux composants soient interdépendants, les travaux antérieurs les conçoivent souvent de manière indépendante, les entraînant avec des objectifs distincts. En conséquence, il devient impossible de propager rétroactivement les gradients ni d’optimiser l’ensemble du système MOT, ce qui entraîne des performances sous-optimales. Pour remédier à ce problème, les travaux récents ont proposé d’optimiser simultanément les modules de détection et d’association de données dans un cadre conjoint de MOT, obtenant ainsi des améliorations significatives dans les deux modules. Dans ce travail, nous proposons une nouvelle approche conjointe de MOT fondée sur les réseaux de graphes (GNNs). L’idée centrale réside dans la capacité des GNNs à modéliser les relations entre des objets de tailles variables, tant dans le domaine spatial que temporel, ce qui est essentiel pour apprendre des caractéristiques discriminantes tant pour la détection que pour l’association de données. À travers des expériences étendues sur les jeux de données MOT15/16/17/20, nous démontrons l’efficacité de notre approche conjointe de MOT basée sur les GNNs, et montrons des performances de pointe pour les tâches de détection et de suivi d’objets multiples. Notre code est disponible à l’adresse suivante : https://github.com/yongxinw/GSDT