HybrIK : Une solution hybride analytique-neurale pour l'estimation de la posture et de la forme humaines en 3D

Les méthodes d'estimation de la posture et de la forme basées sur un modèle reconstruisent une maillage 3D complet du corps humain en estimant plusieurs paramètres. Cependant, l'apprentissage de ces paramètres abstraits est un processus hautement non linéaire et souffre de désalignements entre l'image et le modèle, ce qui entraîne des performances médiocres du modèle. En revanche, les méthodes d'estimation de points clés 3D combinent un réseau neuronal convolutif profond (CNN) avec une représentation volumique pour atteindre une précision de localisation au niveau du pixel, mais elles peuvent prédire des structures corporelles irréalistes.Dans cet article, nous abordons les problèmes mentionnés ci-dessus en comblant le fossé entre l'estimation de la maillage corporelle et l'estimation des points clés 3D. Nous proposons une nouvelle solution hybride d'kinématique inverse (HybrIK). HybrIK transforme directement des articulations 3D précises en rotations relatives des parties du corps pour la reconstruction d'un maillage corporel 3D, grâce à la décomposition en torsion et balancement (twist-and-swing). La rotation de balancement est résolue analytiquement à partir des articulations 3D, tandis que la rotation de torsion est dérivée des indices visuels par le biais du réseau neuronal. Nous montrons que HybrIK préserve à la fois la précision de la posture 3D et la structure corporelle réaliste du modèle humain paramétrique, conduisant à un maillage corporel 3D aligné au niveau du pixel et à une posture 3D plus précise que les méthodes d'estimation purement basées sur les points clés 3D.Sans recourir à des techniques supplémentaires complexes, la méthode proposée dépasse largement les méthodes de pointe actuelles sur diverses benchmarks d'estimation de posture et de forme humaine en 3D. Par exemple illustratif, HybrIK surpasse toutes les méthodes précédentes avec une amélioration de 13,2 mm en MPJPE (Mean Per Joint Position Error) et de 21,9 mm en PVE (Point-to-Vertex Error) sur le dataset 3DPW. Notre code est disponible à l'adresse suivante : https://github.com/Jeff-sjtu/HybrIK.