Ajustement du Modèle du Corps Humain par Descendante de Gradient Apprise

Nous proposons un nouvel algorithme d'ajustement de la forme 3D humaine aux images. En combinant la précision et les capacités d'optimisation fine des techniques itératives basées sur le gradient avec la robustesse des réseaux de neurones profonds, nous introduisons un algorithme de descente de gradient qui utilise un réseau neuronal pour prédire la règle de mise à jour des paramètres à chaque itération. Cette mise à jour par paramètre et consciente de l'état guide l'optimiseur vers une solution de qualité en très peu d'étapes, conduisant généralement à une convergence rapide. Pendant l'entraînement, notre approche n'exige que des données de motion capture (MoCap) de poses humaines paramétrées via SMPL. À partir de ces données, le réseau apprend un sous-espace de poses et de formes valides, dans lequel l'optimisation s'effectue de manière beaucoup plus efficace. L'approche ne nécessite aucune correspondance image-3D difficile à obtenir. En phase de test, nous optimisons uniquement l'erreur de réprojection des joints 2D, sans avoir besoin de priori supplémentaires ni de termes de régularisation. Nous montrons empiriquement que cet algorithme est rapide (convergence moyenne en 120 ms), robuste aux initialisations et aux jeux de données, et atteint des résultats de pointe sur des jeux de données publics, y compris le défi difficile 3DPW en situation réelle (amélioration de 45 % par rapport à SMPLify), tout en se rapprochant des approches utilisant des correspondances image-3D.