GFPose : Apprentissage d'un a priori de pose humaine 3D avec des champs de gradient

L'apprentissage de la posture humaine en 3D est essentiel pour l'IA centrée sur l'humain. Dans cet article, nous présentons GFPose, un cadre polyvalent permettant de modéliser des postures humaines plausibles en 3D pour diverses applications. Au cœur de GFPose se trouve un réseau neuronal dépendant du temps, qui estime le gradient sur chaque articulation corporelle et débruite progressivement la posture humaine perturbée en 3D afin de correspondre à une spécification de tâche donnée. Au cours du processus de débruitage, GFPose incorpore implicitement des a priori de posture dans les gradients et unifie diverses tâches discriminantes et génératives dans un cadre élégant.Malgré sa simplicité, GFPose montre un grand potentiel dans plusieurs tâches downstream. Nos expériences montrent empiriquement que : 1) en tant qu'estimateur de posture multi-hypothèses, GFPose surpass les méthodes existantes d'état de l'art (SOTA) de 20% sur le dataset Human3.6M ; 2) en tant qu'estimateur de posture mono-hypothèse, GFPose obtient des résultats comparables aux SOTA déterministes, même avec un backbone basique ; 3) GFPose est capable de produire des échantillons variés et réalistes dans les tâches de débruitage, complétion et génération de postures.Page du projet : https://sites.google.com/view/gfpose/