HyperAIHyperAI

Command Palette

Search for a command to run...

Attention croisée de modalités désenchevêtrées pour la reconstruction de maillage 3D humain avec des Transformers

Junhyeong Cho Kim Youwang Tae-Hyun Oh

Résumé

Les architectures de transformateurs encodeurs ont récemment atteint des résultats de pointe dans la reconstruction 3D de maillages humains à partir d’une seule image, mais elles nécessitent un grand nombre de paramètres et des calculs coûteux. En raison de la forte charge mémoire et de la lenteur du temps de déduction, il est difficile de déployer ces modèles dans des applications pratiques. Dans cet article, nous proposons une nouvelle architecture de transformateur encodeur-décodage pour la reconstruction 3D de maillages humains à partir d’une image unique, nommée FastMETRO. Nous identifions que le goulot d’étranglement de performance des transformateurs basés sur l’encodeur provient de la conception des tokens, qui introduit des interactions complexes entre les tokens d’entrée. En décomposant ces interactions grâce à une architecture encodeur-décodage, notre modèle requiert significativement moins de paramètres et un temps de déduction plus court. Par ailleurs, nous intégrons des connaissances a priori sur les relations morphologiques du corps humain via des masques d’attention et des opérations de suréchantillonnage du maillage, ce qui accélère la convergence tout en améliorant la précision. FastMETRO améliore le compromis entre précision et efficacité (Pareto-front), et dépasse clairement les méthodes basées sur l’image sur les jeux de données Human3.6M et 3DPW. En outre, nous validons sa capacité de généralisation sur le jeu de données FreiHAND.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp