HyperAIHyperAI

Command Palette

Search for a command to run...

Récupération de la Maillée Corporelle 3D en Une Étape avec Transformer Conscient des Composants

Jing Lin Ailing Zeng Haoqian Wang Lei Zhang Yu Li

Résumé

La récupération de maillage corporel complet vise à estimer les paramètres du corps humain en 3D, du visage et des mains à partir d'une seule image. Il est difficile d'effectuer cette tâche avec un seul réseau en raison des problèmes de résolution, c'est-à-dire que le visage et les mains sont généralement situés dans des régions extrêmement petites. Les travaux existants détectent généralement les mains et les visages, augmentent leur résolution pour les introduire dans un réseau spécifique afin de prédire les paramètres, puis fusionnent finalement les résultats. Bien que ce pipeline copier-coller puisse capturer les détails fins du visage et des mains, il est difficile de restaurer les connexions entre différentes parties lors de la fusion tardive, ce qui entraîne une rotation 3D improbable et une posture artificielle.Dans ce travail, nous proposons un pipeline en une étape pour la récupération expressive de maillage corporel complet, nommé OSX, sans réseaux distincts pour chaque partie. Plus précisément, nous concevons un Transformateur Conscient des Composants (Component Aware Transformer - CAT) composé d'un encodeur global du corps et d'un décodeur local du visage/mains. L'encodeur prédit les paramètres du corps et fournit une carte de caractéristiques de haute qualité au décodeur, qui effectue un schéma d'échantillonnage-coupe au niveau des caractéristiques pour extraire des caractéristiques spécifiques aux parties à haute résolution et utilise une attention déformable guidée par les points clés pour estimer précisément la main et le visage. Le pipeline complet est simple mais efficace, sans aucun traitement manuel postérieur, et évite naturellement les prédictions improbables.Des expériences exhaustives démontrent l'efficacité d'OSX. Enfin, nous avons construit un jeu de données Upper-Body (UBody) à grande échelle avec des annotations corporelles complètes 2D et 3D de haute qualité. Il contient des personnes avec des corps partiellement visibles dans diverses situations réelles afin de combler l'écart entre la tâche de base et les applications downstream (en aval).


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Récupération de la Maillée Corporelle 3D en Une Étape avec Transformer Conscient des Composants | Articles | HyperAI