SEFD : Apprendre à distiller des poses complexes et des occlusions

Ce papier aborde le problème de l’estimation de maillage 3D humain dans des poses complexes et en situation d’occlusion. Bien que des améliorations significatives aient été réalisées dans l’estimation de maillage 3D humain à partir de poses 2D en présence d’occlusions entre personnes, les occlusions dues à des poses complexes et à d’autres objets demeurent un défi persistant. Ainsi, nous proposons une nouvelle méthode, appelée Skinned Multi-Person Linear (SMPL) Edge Feature Distillation (SEFD), qui présente une robustesse accrue face aux poses complexes et aux occlusions, sans augmenter le nombre de paramètres par rapport au modèle de référence. Le modèle génère une carte d’arête superposée SMPL, similaire à la vérité terrain, contenant à la fois les contours de la personne cible et des informations d’occlusion, permettant ainsi une distillation de caractéristiques efficace à partir d’une carte d’arête simple. Nous menons également des expériences sur diverses bases de données et démontrons une fidélité remarquable, tant sur le plan qualitatif que quantitatif. Des expérimentations étendues montrent que notre méthode surpasser la méthode de l’état de l’art de 2,8 % en MPJPE et de 1,9 % en MPVPE sur la base de données 3DPW, même en présence d’un écart de domaine. De plus, notre approche se distingue également sur les bases 3DPW-OCC, 3DPW-PC, RH-Dataset, OCHuman, CrowdPose et LSP, où des occlusions, des poses complexes et des écarts de domaine sont présents. Le code source ainsi que les annotations d’occlusion et de poses complexes seront disponibles à l’adresse suivante : https://anonymous.4open.science/r/SEFD-B7F8/