HandBooster : Amélioration de la reconstruction de maillages 3D de la main par synthèse conditionnelle et échantillonnage d'interactions main-objet

La reconstruction robuste d'un maillage 3D de la main à partir d'une seule image est un défi majeur, en raison du manque de diversité dans les jeux de données réels existants. Bien que la synthèse de données aide à atténuer ce problème, l'écart entre les données synthétiques et réelles continue d'entraver son utilisation. Dans cette étude, nous présentons HandBooster, une nouvelle approche visant à améliorer la diversité des données et à renforcer les performances de reconstruction du maillage 3D de la main en formant un espace génératif conditionnel sur les interactions main-objet et en échantillonnant intentionnellement cet espace pour synthétiser des échantillons de données efficaces. Tout d'abord, nous construisons des conditions polyvalentes sensibles au contenu pour guider un modèle de diffusion à produire des images réalistes avec des apparences, poses, vues et arrière-plans variés de mains ; favorablement, des annotations 3D précises sont obtenues gratuitement. Ensuite, nous concevons un nouveau créateur de conditions basé sur nos stratégies d'échantillonnage de distribution sensibles à la similarité afin de trouver délibérément des poses d'interaction nouvelles et réalistes qui diffèrent du jeu d'entraînement. Grâce à notre méthode, plusieurs modèles de base peuvent être considérablement améliorés au-delà de l'état de l'art sur les benchmarks HO3D et DexYCB. Notre code sera mis à disposition sur https://github.com/hxwork/HandBooster_Pytorch.