Raisonnement explicite d'occlusion pour l'estimation de la pose 3D de plusieurs personnes

L'occlusion représente une menace importante pour l'estimation de la posture 3D multi-personne à partir d'une seule caméra en raison de la grande variabilité de forme, d'apparence et de position des objets occultants. Bien que les méthodes existantes tentent de gérer l'occlusion par le biais de contraintes de posture, d'augmentation de données ou de raisonnement implicite, elles échouent encore à généraliser aux postures inconnues ou aux cas d'occlusion et peuvent commettre de grosses erreurs en présence de plusieurs personnes. Inspirés par la remarquable capacité des humains à inférer les articulations occultées à partir d'indices visibles, nous avons développé une méthode qui modélise explicitement ce processus, améliorant considérablement l'estimation de la posture humaine multi-personne par approche ascendante, qu'il y ait occlusion ou non. Tout d'abord, nous divisons la tâche en deux sous-tâches : détection des points clés visibles et raisonnement sur les points clés occultés, et nous proposons un réseau Deeply Supervised Encoder Distillation (DSED) pour résoudre la seconde. Pour entraîner notre modèle, nous proposons une approche Skeleton-guided human Shape Fitting (SSF) pour générer des étiquettes d'occlusion pseudo-réelles sur les jeux de données existants, permettant ainsi un raisonnement explicite sur l'occlusion. Les expériences montrent que l'apprentissage explicite à partir des occlusions améliore l'estimation de la posture humaine. De plus, l'utilisation des informations au niveau des caractéristiques des articulations visibles nous permet d'inférer plus précisément les articulations occultées. Notre méthode surpasses tant les méthodes descendantes que les méthodes ascendantes les plus avancées actuellement disponibles sur plusieurs benchmarks.