MMPTRACK : Benchmark à grande échelle avec annotations denses pour le suivi multi-caméra de multiples personnes

Les systèmes de suivi multicaméra gagnent en popularité dans les applications nécessitant des résultats de suivi de haute qualité, comme le passage en caisse sans contact, car les systèmes de suivi monoculaire d'objets multiples (MOT) échouent souvent dans des environnements encombrés et surpeuplés en raison des occultations. L'utilisation de plusieurs caméras fortement superposées peut considérablement atténuer ce problème en récupérant des informations 3D partielles. Cependant, le coût élevé de la création d'un ensemble de données multicaméra de haute qualité avec diverses configurations de caméras et arrière-plans a limité l'échelle des jeux de données dans ce domaine. Dans cet article, nous fournissons un grand ensemble de données multicaméra étiqueté dense dans cinq environnements différents grâce à un système d'annotation automatique. Ce système utilise des caméras profondeur et RGB superposées et calibrées pour construire un suiveur 3D performant qui génère automatiquement les résultats de suivi 3D. Les résultats de suivi 3D sont projetés sur chaque vue des caméras RGB à l'aide des paramètres de caméra pour créer des résultats de suivi 2D. Ensuite, nous vérifions manuellement et corrigeons les résultats de suivi 3D pour garantir la qualité des étiquettes, ce qui est beaucoup moins coûteux qu'une annotation entièrement manuelle. Nous avons mené une série d'expériences approfondies en utilisant deux suiveurs multicaméra temps réel et un modèle de réidentification d'individus (ReID) avec différentes configurations. Cet ensemble de données offre un benchmark plus fiable pour les systèmes de suivi multicaméra d'objets multiples dans des environnements encombrés et surpeuplés. De plus, nos résultats montrent que l'adaptation des suiveurs et des modèles ReID sur cet ensemble de données améliore considérablement leurs performances. Notre ensemble de données sera rendu publiquement disponible à l'acceptation du présent travail.