Suivi à vue croisée pour l'estimation de la posture 3D multi-individus à plus de 100 FPS

L’estimation en temps réel des poses 3D de plusieurs personnes constitue une tâche classique mais toujours difficile en vision par ordinateur. Son principal défi réside dans l’ambiguïté liée à l’association croisée des poses 2D entre différentes vues, ainsi que dans l’immensité de l’espace d’état lorsque plusieurs individus sont présents dans plusieurs vues. Dans cet article, nous proposons une nouvelle solution pour l’estimation de poses 3D de multiples personnes à partir de plusieurs vues de caméras calibrées. Notre méthode prend en entrée des poses 2D exprimées dans les repères respectifs des différentes caméras, et vise à obtenir des poses 3D précises dans un repère global. Contrairement aux approches précédentes qui établissent l’association des poses 2D entre toutes les paires de vues à partir de zéro à chaque trame, nous exploitons la cohérence temporelle des vidéos pour associer directement les entrées 2D aux poses 3D dans l’espace tridimensionnel. Plus précisément, nous proposons de conserver la pose 3D de chaque individu et de la mettre à jour itérativement via un suivi croisés multi-personnes entre vues. Cette formulation novatrice améliore à la fois la précision et l’efficacité, comme nous l’avons démontré sur des jeux de données publics largement utilisés. Pour vérifier davantage la scalabilité de notre méthode, nous proposons un nouveau jeu de données à grande échelle comprenant de 12 à 28 vues caméra. Sans recourir à des techniques sophistiquées, notre solution atteint 154 FPS sur 12 caméras et 34 FPS sur 28 caméras, démontrant ainsi sa capacité à traiter des applications réelles à grande échelle. Le jeu de données proposé est mis à disposition à l’adresse suivante : https://github.com/longcw/crossview_3d_pose_tracking.