HyperAIHyperAI

Command Palette

Search for a command to run...

Un modèle d'attention probabiliste avec régression de texture sensible aux occlusions pour la reconstruction 3D de main à partir d'une seule image RGB

Zheheng Jiang Hossein Rahmani Sue Black Bryan M. Williams

Résumé

Récemment, les approches fondées sur l’apprentissage profond ont montré des résultats prometteurs pour la reconstruction 3D de la main à partir d’une seule image RGB. Ces approches peuvent être globalement classées en deux catégories : les méthodes basées sur un modèle, qui dépendent fortement de l’espace de paramètres du modèle, et les méthodes sans modèle, qui nécessitent un grand nombre de vérités terrain 3D afin de réduire l’ambiguïté de profondeur, tout en rencontrant des difficultés dans les scénarios faiblement supervisés. Pour surmonter ces limitations, nous proposons un nouveau modèle probabiliste permettant d’obtenir la robustesse des méthodes basées sur un modèle tout en réduisant la dépendance à l’égard de l’espace de paramètres du modèle, caractéristique des méthodes sans modèle. Le modèle probabiliste proposé intègre un réseau basé sur un modèle comme « prior-net » afin d’estimer la distribution a priori des articulations et des sommets du maillage. Nous introduisons également un modèle d’incertitude de régression des sommets de maillage basé sur l’attention (AMVUR), conçu pour capturer les dépendances entre les sommets et la corrélation entre les articulations et les sommets du maillage, afin d’améliorer la représentation des caractéristiques. Par ailleurs, nous proposons un modèle de régression de texture de main sensible à l’occlusion, fondé sur l’apprentissage, afin d’obtenir une reconstruction de texture haute fidélité. Nous démontrons la flexibilité du modèle probabiliste proposé, capable d’être entraîné aussi bien dans des scénarios supervisés que faiblement supervisés. Les résultats expérimentaux montrent que notre modèle probabiliste atteint un niveau d’exactitude de pointe dans la reconstruction 3D de la main et de sa texture à partir d’une seule image, dans les deux modes d’entraînement, y compris en présence d’occlusions sévères.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Un modèle d'attention probabiliste avec régression de texture sensible aux occlusions pour la reconstruction 3D de main à partir d'une seule image RGB | Articles | HyperAI