PONet : Estimation robuste de la posture 3D humaine par apprentissage des orientations uniquement

L’estimation conventionnelle de la posture 3D humaine repose sur une détection préalable des points clés 2D du corps, suivie de la résolution du problème de correspondance entre 2D et 3D. Malgré les résultats prometteurs obtenus, ce paradigme d’apprentissage dépend fortement de la qualité du détecteur de points clés 2D, qui est inévitablement fragile face aux occlusions et aux absences de parties du corps en dehors de l’image. Dans cet article, nous proposons un nouveau modèle, le Pose Orientation Net (PONet), capable d’estimer robustement la posture 3D en ne s’appuyant que sur l’apprentissage des orientations, ce qui permet de contourner le détecteur de points clés, souvent source d’erreurs, en l’absence de preuves visuelles dans l’image. Pour les images où certaines membres sont partiellement invisibles, PONet estime l’orientation 3D de ces membres en exploitant les indices locaux présents dans l’image afin de restaurer la posture 3D. En outre, PONet est capable d’estimer des postures 3D complètes même à partir d’images où tous les membres sont totalement invisibles, en tirant parti des corrélations d’orientation entre les membres visibles pour compléter les estimations, ce qui renforce davantage la robustesse de l’estimation 3D. Nous évaluons notre méthode sur plusieurs jeux de données, notamment Human3.6M, MPII, MPI-INF-3DHP et 3DPW. Nos résultats sont comparables aux meilleures techniques actuelles dans des conditions idéales, tout en éliminant de manière significative la dépendance vis-à-vis des détecteurs de points clés et leur charge computationnelle associée. Dans des scénarios particulièrement difficiles, tels que la troncation ou l’effacement partiel, notre méthode se révèle très robuste et obtient des performances nettement supérieures à celles des états de l’art, démontrant ainsi son potentiel pour des applications réelles.