Apprentissage de l'estimation de maillages 3D humains robustes à partir de scènes encombrées en situation réelle

Nous considérons le problème de la reconstruction d’un maillage 3D humain pour une seule personne à partir de scènes en extérieur surchargées. Bien que des progrès significatifs aient été réalisés dans l’estimation du maillage 3D humain, les méthodes existantes peinent lorsqu’elles sont confrontées à des entrées de test comprenant des scènes surchargées. La première cause de cet échec réside dans un écart de domaine entre les données d’entraînement et celles de test. Les jeux de données de capture de mouvement, qui fournissent des étiquettes 3D précises pour l’entraînement, manquent de données de foule, ce qui empêche le réseau d’apprendre des caractéristiques d’image robustes face aux scènes surchargées pour la personne cible. La deuxième cause provient du traitement des caractéristiques, qui moyenne spatialement la carte de caractéristiques d’une boîte englobante localisée contenant plusieurs personnes. Ce moyennage de l’ensemble de la carte rend les caractéristiques de la personne cible indiscernables de celles des autres. Nous proposons 3DCrowdNet, une méthode qui cible pour la première fois explicitement les scènes en extérieur surchargées et estime un maillage 3D humain robuste en résolvant ces deux problèmes. Premièrement, nous exploitons une estimation de posture 2D qui ne nécessite pas de jeu de données de capture de mouvement avec des étiquettes 3D pour l’entraînement et qui n’est pas affectée par l’écart de domaine. Deuxièmement, nous proposons un régresseur basé sur les articulations, capable de distinguer les caractéristiques de la personne cible des autres. Ce régresseur basé sur les articulations préserve l’activation spatiale de la personne cible en échantillonnant les caractéristiques à partir des positions des articulations de la personne cible, puis en régressant les paramètres du modèle humain. En conséquence, 3DCrowdNet apprend des caractéristiques centrées sur la personne cible et exclut efficacement les caractéristiques non pertinentes des personnes proches. Nous menons des expériences sur diverses bases de données et démontrons la robustesse de 3DCrowdNet face aux scènes en extérieur surchargées, tant sur le plan quantitatif que qualitatif. Le code est disponible à l’adresse suivante : https://github.com/hongsukchoi/3DCrowdNet_RELEASE.