MCBLT : Suivi multi-objets 3D à partir de plusieurs caméras dans des vidéos longues

La perception d'objets à partir de caméras multi-vues est cruciale pour les systèmes intelligents, en particulier dans des environnements intérieurs tels que des entrepôts, des magasins de détail et des hôpitaux. La plupart des méthodes traditionnelles de détection et de suivi multi-cibles multi-caméras (MTMC) s'appuient sur la détection d'objets 2D, le suivi multi-objets mono-vue (MOT) et les techniques de ré-identification croisée (ReID), sans traiter adéquatement les informations 3D importantes par l'agrégation d'images multi-vues. Dans cet article, nous proposons un cadre de détection et de suivi d'objets 3D nommé MCBLT, qui agrège tout d'abord les images multi-vues avec les paramètres de calibration nécessaires pour obtenir des détections d'objets 3D en vue oiseau (BEV). Ensuite, nous introduisons des réseaux neuronaux graphiques hiérarchiques (GNNs) pour suivre ces détections 3D en BEV, produisant ainsi des résultats de suivi MTMC. Contrairement aux méthodes existantes, MCBLT présente une généralisation impressionnante dans diverses scènes et configurations caméra variées, avec une capacité exceptionnelle à gérer les associations à long terme. Par conséquent, notre MCBLT établit un nouveau standard dans l'état de l'art sur le jeu de données AICity'24 avec un score HOTA de $81.22$, et sur le jeu de données WildTrack avec un score IDF1 de $95.6$.