Estimation monulaire de la pose 3D multi-personne en intégrant des réseaux top-down et bottom-up

Dans le domaine de l'estimation de la posture 3D multi-personne à partir d'une vidéo monoculaire, les occultations interpersonnelles et les interactions rapprochées peuvent entraîner des erreurs dans la détection des personnes et une fiabilité insuffisante dans le regroupement des articulations humaines. Les méthodes existantes de haut en bas (top-down) reposent sur la détection des personnes et sont donc sujettes à ces problèmes. Les méthodes existantes de bas en haut (bottom-up), bien qu'elles n'utilisent pas la détection des personnes, traitent toutes les personnes simultanément à la même échelle, ce qui les rend sensibles aux variations d'échelle entre plusieurs personnes.Pour relever ces défis, nous proposons l'intégration des approches de haut en bas et de bas en haut afin d'exploiter leurs forces respectives. Notre réseau de haut en bas estime les articulations humaines de toutes les personnes présentes dans un patch d'image, plutôt que d'une seule personne, ce qui le rend robuste face aux boîtes englobantes potentiellement erronées. Notre réseau de bas en haut incorpore des cartes thermiques normalisées basées sur la détection des personnes, permettant au réseau d'être plus robuste pour gérer les variations d'échelle. Enfin, les postures 3D estimées par les réseaux de haut en bas et de bas en haut sont transmises à notre réseau d'intégration pour obtenir les postures 3D finales.En plus de l'intégration des réseaux de haut en bas et de bas en haut, contrairement aux discriminants de posture existants conçus uniquement pour une seule personne et qui ne peuvent donc pas évaluer naturellement les interactions interpersonnelles, nous proposons un discriminant de posture pour deux personnes qui impose des interactions naturelles entre deux individus. En dernier lieu, nous appliquons également une méthode semi-supervisée pour surmonter la rareté des données vérité-terrain 3D. Nos évaluations quantitatives et qualitatives montrent l'efficacité de notre méthode par rapport aux méthodes de référence actuelles (state-of-the-art).