VoxelTrack : estimation et suivi 3D multi-personnes de la posture humaine dans des environnements naturels

Nous présentons VoxelTrack, une méthode pour l’estimation et le suivi de poses 3D de plusieurs personnes à partir de quelques caméras éloignées par des bases larges. Elle utilise un réseau à plusieurs branches pour estimer conjointement les poses 3D et les caractéristiques de réidentification (Re-ID) de toutes les personnes présentes dans l’environnement. Contrairement aux approches antérieures qui nécessitent d’établir des correspondances entre vues à partir d’estimations bruitées de poses 2D, VoxelTrack estime directement et suit les poses 3D à partir d’une représentation 3D basée sur des voxels construite à partir d’images multi-vues. Nous commençons par discrétiser l’espace 3D à l’aide de voxels réguliers, puis calculons un vecteur de caractéristiques pour chaque voxel en moyennant les cartes de chaleur des articulations corporelles projetées en arrière depuis toutes les vues. Les poses 3D sont ensuite estimées à partir de cette représentation voxelisée en prédisant si un voxel donné contient une articulation spécifique. De même, une caractéristique Re-ID est calculée pour chaque voxel, utilisée pour suivre les poses 3D estimées dans le temps. L’avantage principal de cette approche réside dans le fait qu’elle évite toute décision tranchée basée sur des images individuelles. Elle permet ainsi d’estimer et de suivre robustement les poses 3D même lorsque les personnes sont fortement occlues dans certaines caméras. VoxelTrack surpasse largement les méthodes de l’état de l’art sur trois jeux de données publics, à savoir Shelf, Campus et CMU Panoptic.