Monoculaire, en une étape, régression de multiples personnes en 3D

Ce document se concentre sur la régression de plusieurs personnes en 3D à partir d'une seule image RGB. Les approches existantes suivent principalement un pipeline en plusieurs étapes qui détecte d'abord les personnes dans des boîtes englobantes, puis régresse indépendamment leurs maillages corporels en 3D. En revanche, nous proposons une méthode de régression de tous les maillages en une seule étape pour plusieurs personnes en 3D (dénommée ROMP). Cette approche est conceptuellement simple, ne nécessite pas de boîtes englobantes et est capable d'apprendre une représentation par pixel de manière end-to-end. Notre méthode prédit simultanément une carte thermique du Centre Corporel et une carte de Paramètres du Maillage, qui peuvent décrire conjointement le maillage corporel en 3D au niveau des pixels. Grâce à un processus d'échantillonnage guidé par le centre corporel, les paramètres du maillage corporel de toutes les personnes présentes dans l'image sont facilement extraits de la carte de Paramètres du Maillage. Doté d'une telle représentation fine, notre cadre en une seule étape est exempt du processus complexe en plusieurs étapes et plus robuste face aux occultations. Comparée aux méthodes de pointe, ROMP obtient des performances supérieures sur les bancs d'essai difficiles impliquant plusieurs personnes, notamment 3DPW et CMU Panoptic. Des expériences menées sur des jeux de données comportant des foules ou des occultations montrent sa robustesse sous divers types d'occultation. Le code publié constitue la première mise en œuvre temps réel de la régression mono-oculaire de maillages corporels 3D pour plusieurs personnes.