AdaFuse : Fusion Multivue Adaptative pour une Estimation Précise de la Pose Humaine dans des Environnements Réels

L’occlusion représente probablement le plus grand défi pour l’estimation de la posture humaine dans des environnements réels. Les solutions classiques reposent souvent sur des capteurs invasifs tels que les IMU (unités de mesure inertielle) afin de détecter les articulations masquées. Pour rendre cette tâche véritablement sans contrainte, nous proposons AdaFuse, une méthode d’agrégation adaptative multi-vues, capable d’améliorer les caractéristiques des vues occluées en exploitant celles des vues visibles. Le cœur d’AdaFuse réside dans la détermination de correspondances point à point entre deux vues, résolue efficacement grâce à l’exploitation de la densité faible (sparsité) de la représentation des cartes de chaleur. Nous apprenons également un poids d’agrégation adaptatif pour chaque vue caméra, afin de refléter la qualité des caractéristiques associées et ainsi réduire le risque que des caractéristiques de bonne qualité soient corrompues de manière indésirable par des vues « mauvaises ». Le modèle d’agrégation est entraîné de manière end-to-end avec le réseau d’estimation de posture et peut être directement appliqué à de nouvelles configurations de caméras sans adaptation supplémentaire. Nous évaluons de manière exhaustive notre approche sur trois jeux de données publics : Human3.6M, Total Capture et CMU Panoptic. Elle surpasser les méthodes de l’état de l’art sur tous ces jeux de données. Nous avons également créé un grand jeu de données synthétique, Occlusion-Person, qui permet une évaluation numérique des articulations occlues, car il fournit des étiquettes d’occlusion pour chaque articulation dans les images. Le jeu de données et le code source sont disponibles à l’adresse suivante : https://github.com/zhezh/adafuse-3d-human-pose.