HSPACE : Humains paramétriques synthétiques animés dans des environnements complexes

Les avancées récentes dans le domaine de la perception 3D humaine sont actuellement freinées par le manque de jeux de données visuels comportant une vérité terrain 3D, incluant plusieurs personnes en mouvement, dans des environnements réels, avec des éclairages complexes ou des occlusions, et potentiellement observés par une caméra en mouvement. Une compréhension scénique sophistiquée exigerait d’estimer à la fois la posture et la forme humaines, ainsi que les gestes, afin d’obtenir des représentations combinant des signaux métriques utiles et des signaux comportementaux avec des capacités de visualisation photo-réaliste à vue libre. Pour soutenir la progression de ce domaine, nous avons construit un grand jeu de données photo-réaliste, Human-SPACE (HSPACE), comprenant des humains animés dans des environnements intérieurs et extérieurs synthétiques complexes. Nous avons combiné environ cent individus aux caractéristiques diverses (âge, sexe, proportions corporelles, origine ethnique), des centaines de mouvements et de scènes, ainsi que des variations paramétriques de forme corporelle (totalisant 1 600 individus différents), afin de générer un jeu de données initial dépassant un million de cadres. Les animations humaines ont été obtenues en ajustant un modèle expressif du corps humain, GHUM, à des scans individuels de personnes, suivis de procédures novatrices de ré-ciblage et de positionnement permettant une animation réaliste d’humains vêtus, une variation statistique des proportions corporelles, ainsi qu’un placement cohérent conjoint des multiples personnes en mouvement au sein d’une scène. Les ressources sont générées automatiquement à grande échelle et sont compatibles avec les moteurs de rendu en temps réel et les moteurs de jeux existants. Le jeu de données, accompagné d’un serveur d’évaluation, sera mis à disposition pour la recherche. Notre analyse à grande échelle sur l’impact des données synthétiques, en lien avec des données réelles et une supervision faible, souligne le potentiel considérable pour améliorer continuellement la qualité et réduire l’écart entre simulation et réalité dans ce contexte pratique, notamment en parallèle de l’augmentation de la capacité des modèles.