Synthèse de Scène à Partir du Mouvement Humain

La capture à grande échelle du mouvement humain dans des scènes diverses et complexes, bien qu'extrêmement utile, est souvent considérée comme excessivement coûteuse. Cependant, le mouvement humain seul contient des informations riches sur la scène dans laquelle il se trouve et avec laquelle il interagit. Par exemple, une personne assise suggère l'existence d'une chaise, et sa position des jambes implique davantage la posture de cette chaise. Dans cet article, nous proposons de synthétiser des scènes diverses, sémantiquement raisonnables et physiquement plausibles basées sur le mouvement humain. Notre cadre, appelé Scene Synthesis from HUMan MotiON (SUMMON) (Synthèse de Scène à partir du Mouvement Humain), comprend deux étapes. Il utilise d'abord ContactFormer, notre nouveau prédicteur de contact, pour obtenir des étiquettes de contact temporellement cohérentes à partir du mouvement humain. Sur la base de ces prédictions, SUMMON sélectionne ensuite les objets en interaction et optimise les pertes de plausibilité physique ; il peuple également la scène avec des objets qui n'interagissent pas avec les humains. Les résultats expérimentaux montrent que SUMMON synthétise des scènes réalisables, plausibles et diversifiées, et possède le potentiel de générer d'importants ensembles de données sur l'interaction homme-scène pour la communauté scientifique.