Optimisation d'inférence auto-contrainte sur des groupes structuraux pour l'estimation de la pose humaine

Nous observons que les postures humaines présentent une forte corrélation structurale par groupe et une couplage spatial entre les points clés en raison des contraintes biologiques des différentes parties du corps. Cette corrélation structurale par groupe peut être exploitée pour améliorer la précision et la robustesse de l'estimation des postures humaines. Dans ce travail, nous développons un réseau de prédiction-vérification auto-construit pour caractériser et apprendre la corrélation structurelle entre les points clés lors de l'entraînement. Pendant la phase d'inférence, les informations de rétroaction fournies par le réseau de vérification nous permettent d'effectuer une optimisation supplémentaire de la prédiction des postures, ce qui améliore considérablement les performances de l'estimation des postures humaines.Plus précisément, nous répartissons les points clés en groupes selon la structure biologique du corps humain. Au sein de chaque groupe, les points clés sont divisés en deux sous-ensembles : des points clés de base à haute confiance et des points clés terminaux à faible confiance. Nous développons un réseau de prédiction-vérification auto-construit pour effectuer des prédictions avant et arrière entre ces sous-ensembles de points clés. Un défi fondamental dans l'estimation des postures, ainsi que dans les tâches de prédiction génériques, est qu'il n'existe aucun mécanisme pour vérifier si les résultats obtenus en estimation ou prédiction des postures sont exacts ou non, car la vérité terrain n'est pas disponible.Une fois correctement appris, le réseau de vérification sert de module de vérification de précision pour la prédiction avant des postures. Pendant la phase d'inférence, il peut être utilisé pour guider l'optimisation locale des résultats d'estimation des postures des points clés à faible confiance, avec la perte auto-construite sur les points clés à haute confiance comme fonction objectif. Nos résultats expérimentaux étendus sur les jeux de données MS COCO et CrowdPose montrent que la méthode proposée peut améliorer considérablement les résultats d'estimation des postures.