Ray3D : estimation de la posture humaine 3D basée sur les rayons pour la localisation 3D absolue monoculaire

Dans cet article, nous proposons une nouvelle méthode d'estimation de la posture humaine 3D absolue basée sur des rayons monoculaires (Ray3D) avec une caméra calibrée. L'estimation précise et généralisable de la posture humaine 3D absolue à partir d'une entrée de posture 2D monoculaire est un problème mal posé. Pour relever ce défi, nous convertissons l'entrée de l'espace des pixels en rayons normalisés 3D. Cette conversion rend notre approche robuste aux changements des paramètres intrinsèques de la caméra. Pour traiter les variations des paramètres extrinsèques de la caméra dans le monde réel, Ray3D prend explicitement les paramètres extrinsèques de la caméra comme entrée et modélise conjointement la distribution entre les rayons de posture 3D et les paramètres extrinsèques de la caméra. Ce nouveau design de réseau est la clé de l'excellente généralisation de l'approche Ray3D. Afin d'avoir une compréhension complète de l'impact des variations des paramètres intrinsèques et extrinsèques de la caméra sur la précision de la localisation des points clés 3D absolus, nous menons des expériences systématiques approfondies sur trois benchmarks 3D mono-personne ainsi qu'un benchmark synthétique. Ces expériences montrent que notre méthode dépasse significativement les modèles existants les plus avancés. Notre code et le dataset synthétique sont disponibles à l'adresse suivante : https://github.com/YxZhxn/Ray3D .