Optimisation de trajectoire pour la reconstruction physique de la posture 3D humaine à partir de vidéos monoculaires

Nous nous concentrons sur la tâche d’estimation d’un mouvement articulé humain physiquement plausible à partir d’une vidéo monoscopique. Les approches existantes qui ne tiennent pas compte de la physique produisent souvent des résultats temporellement incohérents, marqués par des artefacts de mouvement, tandis que les méthodes les plus avancées basées sur la physique fonctionnent soit uniquement dans des conditions de laboratoire contrôlées, soit considèrent des contacts corps-sol simplifiés limités aux pieds. Ce papier explore comment ces limites peuvent être surmontées en intégrant directement un moteur physique complet dans le processus d’estimation de posture. Étant donné une scène réelle non contrôlée en entrée, notre approche estime d’abord la position du plan de sol et les dimensions du modèle corporel physique. Elle récupère ensuite le mouvement physique par optimisation de trajectoire. L’avantage de notre formulation réside dans sa capacité à s’adapter naturellement à diverses scènes présentant des propriétés de sol variées, tout en supportant tout type de contact auto-similaire ainsi que les contacts entre le corps articulé et la géométrie de la scène. Nous démontrons que notre méthode atteint des résultats compétitifs par rapport aux approches basées sur la physique sur le benchmark Human3.6M, tout en étant directement applicable, sans réentraînement, à des mouvements dynamiques plus complexes provenant du benchmark AIST, ainsi qu’à des vidéos internet non contrôlées.