H3WB : Jeu de données et benchmark 3D du corps entier Human3.6M

Nous présentons un benchmark pour l'estimation de la posture totale du corps humain en 3D, qui implique l'identification précise de points clés 3D sur l'ensemble du corps humain, y compris le visage, les mains, le corps et les pieds. Actuellement, le manque d'un ensemble de données complet et précis en 3D du corps entier entraîne que les réseaux profonds sont formés séparément sur des parties spécifiques du corps, qui sont ensuite combinées lors de l'inférence. Ou ils s'appuient sur des pseudo-vérités terrain fournies par des modèles paramétriques du corps, qui ne sont pas aussi précis que les méthodes basées sur la détection. Pour surmonter ces problèmes, nous introduisons le jeu de données Human3.6M 3D WholeBody (H3WB), qui fournit des annotations totales du corps pour le jeu de données Human3.6M en utilisant la disposition COCO Wholebody. L'H3WB comprend 133 annotations de points clés totaux du corps sur 100 000 images, rendues possibles grâce à notre nouvelle pipeline multi-vue. Nous proposons également trois tâches : i) le relèvement de la posture totale du corps en 3D à partir d'une posture complète en 2D ; ii) le relèvement de la posture totale du corps en 3D à partir d'une posture incomplète en 2D ; et iii) l'estimation de la posture totale du corps en 3D à partir d'une seule image RGB. De plus, nous rapportons plusieurs baselines provenant de méthodes populaires pour ces tâches. En outre, nous fournissons également des annotations automatisées en 3D du corps entier pour TotalCapture et montrons expérimentalement qu'elles contribuent à améliorer les performances lorsque utilisées avec H3WB. Le code et le jeu de données sont disponibles à l'adresse suivante : https://github.com/wholebody3d/wholebody3d