3DHR-Co : Un cadre collaboratif de raffinement en temps de test pour la tâche de reconstruction 3D de corps humains dans des environnements réels

Le domaine de la reconstruction 3D du corps humain (abréviation : 3DHR), qui repose sur des représentations paramétriques de posture et de forme, a connu des progrès significatifs ces dernières années. Toutefois, son application à des scènes réelles et diversifiées, appelées données « in-the-wild », reste limitée. La principale difficulté provient du fait qu’il est encore difficile d’obtenir des vérités terrain (ground truth, GT) 3D précises pour les postures humaines dans ces scènes, en raison de multiples facteurs. Les approches récentes de raffinement en temps de test pour la 3DHR exploitent des informations initiales 2D issues de modèles préexistants (off-the-shelf) pour les points clés humains, afin de pallier le manque de supervision 3D sur les données in-the-wild. Toutefois, nous avons observé que l’ajout d’une supervision 2D supplémentaire pouvait entraîner un surajustement (overfitting) sur les architectures classiques de 3DHR, rendant ainsi la tâche de raffinement en temps de test particulièrement difficile. Pour répondre à ce défi, nous proposons une stratégie fondée sur une approche collaborative, visant à améliorer les performances du raffinement en temps de test dans la 3DHR. Plus précisément, nous appliquons d’abord une étape de pré-adaptation, dans laquelle divers modèles de 3DHR coopèrent au sein d’un même cadre pour améliorer directement leurs sorties initiales. Cette étape est ensuite combinée avec une adaptation en temps de test, sous des configurations spécifiques, afin de minimiser le risque de surajustement et d’optimiser davantage les performances de la 3DHR. L’ensemble du cadre est désigné sous le nom de 3DHR-Co. Sur le plan expérimental, nous démontrons que notre méthode permet d’améliorer significativement les performances des architectures classiques de 3DHR, réduisant l’erreur de posture jusqu’à 34 mm, et plaçant ces modèles parmi les meilleurs sur les benchmarks in-the-wild. Ce résultat montre que notre approche permet de dévoiler tout le potentiel réel des architectures classiques de 3DHR. À partir de ces observations, nous menons une analyse approfondie de diverses configurations du cadre proposé, afin de mieux comprendre et mettre en évidence les capacités de notre approche collaborative dans le cadre de la reconstruction 3D du corps humain.