HyperAIHyperAI

Command Palette

Search for a command to run...

Vers la reconstruction 3D du visage dans une projection perspective : estimation de la pose du visage à 6D à partir d'une image monoculaire

Yueying Kao Bowen Pan Miao Xu Jiangjing Lyu Xiangyu Zhu Yuanzhang Chang Xiaobo Li Zhen Lei

Résumé

Dans la reconstruction 3D du visage, la projection orthogonale est largement utilisée pour remplacer la projection perspective afin de simplifier le processus d’ajustement. Cette approximation fonctionne bien lorsque la distance entre la caméra et le visage est suffisamment grande. Toutefois, dans certaines situations où le visage est très proche de la caméra ou se déplace le long de l’axe de la caméra, les méthodes actuelles souffrent de reconstructions inexactes et d’un ajustement temporel instable, en raison des distorsions introduites par la projection perspective. Dans ce travail, nous nous attaquons au problème de la reconstruction 3D d’un visage à partir d’une seule image sous projection perspective. Plus précisément, nous proposons un réseau neuronal profond, appelé Perspective Network (PerspNet), capable de reconstruire simultanément la forme 3D du visage dans un espace canonique et d’apprendre la correspondance entre les pixels 2D et les points 3D, permettant ainsi d’estimer la pose du visage à 6 degrés de liberté (6DoF) afin de modéliser correctement la projection perspective. En outre, nous introduisons un nouveau jeu de données, ARKitFace, de grande taille, pour permettre l’entraînement et l’évaluation des solutions de reconstruction 3D du visage dans des scénarios de projection perspective. Ce jeu de données comprend 902 724 images faciales 2D annotées avec une maillage 3D de référence et des paramètres de pose 6DoF. Les résultats expérimentaux montrent que notre approche surpasser significativement les méthodes de pointe actuelles. Le code source et les données sont disponibles à l’adresse suivante : https://github.com/cbsropenproject/6dof_face.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp