HyperAIHyperAI
il y a 2 mois

NIKI : Neural Inverse Kinematics avec des Réseaux Neuronaux Inversibles pour l'Estimation de la Pose et de la Forme Humaine en 3D

Li, Jiefeng ; Bian, Siyuan ; Liu, Qi ; Tang, Jiasheng ; Wang, Fan ; Lu, Cewu
NIKI : Neural Inverse Kinematics avec des Réseaux Neuronaux Inversibles pour l'Estimation de la Pose et de la Forme Humaine en 3D
Résumé

Avec les progrès de l'estimation de la posture et de la forme humaine en 3D, les méthodes d'avant-garde peuvent soit être robustes aux occultations, soit obtenir une précision alignée au pixel dans les cas sans occultation. Cependant, elles ne peuvent pas obtenir à la fois robustesse et alignement maillage-image. Dans ce travail, nous présentons NIKI (Neural Inverse Kinematics with Invertible Neural Network), qui modélise les erreurs bidirectionnelles pour améliorer la robustesse aux occultations et obtenir une précision alignée au pixel. NIKI peut apprendre des processus directs et inverses grâce aux réseaux neuronaux inversibles. Dans le processus inverse, le modèle sépare l'erreur de la variété de postures 3D plausibles pour une estimation robuste de la posture humaine en 3D. Dans le processus direct, nous imposons des conditions limites d'erreur nulle pour améliorer la sensibilité aux positions articulaires fiables, favorisant ainsi un meilleur alignement maillage-image. De plus, NIKI émule les algorithmes analytiques d'kinématique inverse avec la décomposition torsion-basculement (twist-and-swing) pour une meilleure interprétabilité. Les expériences sur des bancs d'essai standards et spécifiques aux occultations démontrent l'efficacité de NIKI, où nous exposons simultanément des résultats robustes et bien alignés. Le code est disponible à l'adresse suivante : https://github.com/Jeff-sjtu/NIKI