UPose3D : Estimation 3D de la posture humaine consciente de l'incertitude avec des indices croisés et temporels

Nous introduisons UPose3D, une nouvelle approche pour l’estimation 3D de la posture humaine à partir de multiples vues, visant à relever les défis liés à la précision et à la scalabilité. Notre méthode améliore les cadres existants d’estimation de posture en renforçant la robustesse et la flexibilité, sans nécessiter d’étiquetages 3D directs. Au cœur de notre approche, un module de compilation de posture affine les prédictions issues d’un estimateur de points clés 2D fonctionnant sur une seule image, en exploitant des informations temporelles et croisées entre vues. Notre stratégie novatrice de fusion croisées est scalable à tout nombre de caméras, tandis que notre stratégie de génération de données synthétiques garantit une généralisation efficace sur une grande variété d’acteurs, de scènes et de points de vue. Enfin, UPose3D exploite l’incertitude des prédictions provenant à la fois de l’estimateur de points clés 2D et du module de compilation de posture. Cette caractéristique confère une robustesse accrue aux valeurs aberrantes et aux données bruitées, conduisant à des performances de pointe dans des situations hors distribution. Par ailleurs, dans des scénarios intra-distribution, UPose3D atteint des performances comparables à celles des méthodes reposant sur des annotations 3D, tout en restant la méthode la plus performante parmi celles qui s’appuient uniquement sur une supervision 2D.