HyperAIHyperAI

Command Palette

Search for a command to run...

HandBooster : Amélioration de la reconstruction de maillages 3D de la main par synthèse conditionnelle et échantillonnage d'interactions main-objet

Hao Xu Haipeng Li Yinqiao Wang Shuaicheng Liu Chi-Wing Fu

Résumé

La reconstruction robuste d'un maillage 3D de la main à partir d'une seule image est un défi majeur, en raison du manque de diversité dans les jeux de données réels existants. Bien que la synthèse de données aide à atténuer ce problème, l'écart entre les données synthétiques et réelles continue d'entraver son utilisation. Dans cette étude, nous présentons HandBooster, une nouvelle approche visant à améliorer la diversité des données et à renforcer les performances de reconstruction du maillage 3D de la main en formant un espace génératif conditionnel sur les interactions main-objet et en échantillonnant intentionnellement cet espace pour synthétiser des échantillons de données efficaces. Tout d'abord, nous construisons des conditions polyvalentes sensibles au contenu pour guider un modèle de diffusion à produire des images réalistes avec des apparences, poses, vues et arrière-plans variés de mains ; favorablement, des annotations 3D précises sont obtenues gratuitement. Ensuite, nous concevons un nouveau créateur de conditions basé sur nos stratégies d'échantillonnage de distribution sensibles à la similarité afin de trouver délibérément des poses d'interaction nouvelles et réalistes qui diffèrent du jeu d'entraînement. Grâce à notre méthode, plusieurs modèles de base peuvent être considérablement améliorés au-delà de l'état de l'art sur les benchmarks HO3D et DexYCB. Notre code sera mis à disposition sur https://github.com/hxwork/HandBooster_Pytorch.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp