W-HMR : Reconstruction de la Maillée Humaine Mono-oculaire dans l'Espace Mondial avec une Calibration Faiblement Supervisée

Les méthodes précédentes pour la récupération du mouvement humain en 3D à partir d'images monoculaires sont souvent imparfaites en raison de leur dépendance aux coordonnées caméra, ce qui entraîne des inexactitudes dans les applications réelles. La disponibilité limitée et le manque de diversité des étiquettes de distance focale exacerbent davantage les problèmes d'incompatibilité dans les corps humains reconstruits en 3D. Pour relever ces défis, nous présentons W-HMR, une méthode de calibration faiblement supervisée qui prédit des distances focales « raisonnables » basées sur les informations de distorsion corporelle, éliminant ainsi la nécessité d'étiquettes précises de distance focale. Notre approche améliore la précision de la supervision 2D et l'exactitude de la récupération. De plus, nous introduisons le module OrientCorrect, qui corrige l'orientation du corps pour des reconstructions plausibles dans l'espace mondial, évitant ainsi l'accumulation d'erreurs liée aux prédictions inexactes de rotation caméra. Nos contributions incluent une nouvelle technique de calibration caméra faiblement supervisée, un module efficace de correction d'orientation, et une stratégie de découplage qui améliore considérablement la généralisation et la précision de la récupération du mouvement humain dans les coordonnées caméra et mondiale. La robustesse de W-HMR est validée par des expériences approfondies sur divers jeux de données, mettant en évidence sa supériorité par rapport aux méthodes existantes. Les codes source et des démonstrations sont disponibles sur la page du projet : https://yw0208.github.io/w-hmr/.