HybrIK-X : Cinématique inverse hybride analytico-neurale pour la récupération de maillages corporels complets

La récupération d'un maillage corporel complet en inférant les paramètres de pose et de forme abstraits à partir du contenu visuel peut obtenir des corps 3D avec des structures réalistes. Cependant, le processus d'inférence est fortement non linéaire et souffre de désalignements entre l'image et le maillage, entraînant une reconstruction imprecise. En revanche, les méthodes d'estimation de points clés 3D utilisent la représentation volumétrique pour atteindre une précision au niveau du pixel, mais peuvent prédire des structures corporelles irréalistes. Pour résoudre ces problèmes, cet article présente une nouvelle solution hybride de cinématique inverse, HybrIK, qui intègre les avantages de l'estimation de points clés 3D et de la récupération de maillage corporel dans un cadre unifié. HybrIK transforme directement des articulations 3D précises en rotations de parties du corps via une décomposition en torsion et balancement (twist-and-swing). Les rotations de balancement sont résolues analytiquement avec les articulations 3D, tandis que les rotations de torsion sont dérivées à partir d'indices visuels grâce à des réseaux neuronaux. Pour capturer des détails corporels complets, nous avons également développé un cadre holistique, HybrIK-X, qui améliore HybrIK avec des mains articulées et un visage expressif. HybrIK-X est rapide et précis en résolvant la pose totale du corps avec un modèle mono-étape. Les expériences montrent que HybrIK et HybrIK-X conservent à la fois la précision des articulations 3D et la structure réaliste du modèle humain paramétrique, conduisant à une récupération de maillage corporel complet alignée au pixel. La méthode proposée surpasse considérablement les méthodes d'état de l'art sur diverses基准 (benchmarks) pour les scénarios ne concernant que le corps, uniquement les mains ou le corps entier. Le code source et les résultats peuvent être consultés à l'adresse suivante : https://jeffli.site/HybrIK-X/Note: I have used "基准" in parentheses as it is not a common term in French and might be better understood if the original term is provided. However, "benchmarks" is often used in French scientific literature as well, so you may choose to omit the Chinese term if preferred.