Capture complète du mouvement multi-personnes légerée utilisant des caméras multi-vues éparse

La capture de mouvement totale multi-personnes est extrêmement difficile à réaliser, notamment en présence d’occlusions sévères, de granularités de reconstruction très différentes entre le corps, le visage et les mains, de variations importantes d’échelle d’observation et de mouvements corporels rapides. Pour surmonter ces défis, nous proposons un système léger de capture de mouvement total pour des scénarios d’interaction multi-personnes, utilisant uniquement des caméras multi-vues à faible densité. En introduisant un nouvel algorithme d’initialisation (bootstrapping) pour les mains et le visage, notre méthode parvient à une localisation efficace et une association précise des mains et du visage, même dans des conditions d’occlusion sévère. Nous combinons des approches de régression de posture et de détection de points clés, et proposons en outre une méthode unifiée à deux étapes basée sur un ajustement paramétrique pour atteindre une précision alignée au niveau des pixels. De plus, pour les poses extrêmement auto-occulées et les interactions rapprochées, nous introduisons un mécanisme de rétroaction innovant, permettant de propager les reconstructions alignées aux pixels vers la frame suivante afin d’améliorer l’association. Globalement, nous proposons le premier système léger de capture de mouvement total, offrant des performances rapides, robustes et précises pour la capture de mouvement totale multi-personnes. Les résultats expérimentaux démontrent que notre méthode obtient des résultats plus précis que les approches existantes dans des configurations à vue sparse.