HyperAIHyperAI

Command Palette

Search for a command to run...

Reconstruction 3D monocablée auto-supervisée par consistance géométrique multi-vue consciente des occlusions

Jiaxiang Shang Tianwei Shen Shiwei Li Lei Zhou Mingmin Zhen Tian Fang Long Quan

Résumé

Les approches récentes fondées sur l’apprentissage, dans lesquelles les modèles sont entraînés à partir d’images à vue unique, ont montré des résultats prometteurs pour la reconstruction 3D faciale à partir d’une seule vue, mais elles souffrent du problème mal posé lié à l’ambiguïté de la pose faciale et de la profondeur. Contrairement aux travaux antérieurs qui n’imposent que des contraintes sur les caractéristiques en 2D, nous proposons une architecture d’entraînement auto-supervisée exploitant la cohérence géométrique multi-vue, offrant ainsi des contraintes fiables pour l’estimation de la pose et de la profondeur faciale. Nous introduisons tout d’abord une méthode de synthèse de vue consciente aux occlusions, permettant d’appliquer la cohérence géométrique multi-vue à l’apprentissage auto-supervisé. Ensuite, nous concevons trois nouvelles fonctions de perte pour assurer la cohérence multi-vue : la perte de cohérence par pixels, la perte de cohérence de profondeur et la perte épipolaire basée sur les points de repère faciaux. Notre méthode s’avère précise et robuste, en particulier en présence de grandes variations d’expressions, de poses et d’éclairages. Des expériences approfondies sur des benchmarks de recalage facial et de reconstruction 3D faciale démontrent son avantage par rapport aux méthodes de pointe. Le code et le modèle sont disponibles à l’adresse suivante : https://github.com/jiaxiangshang/MGCNet.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Reconstruction 3D monocablée auto-supervisée par consistance géométrique multi-vue consciente des occlusions | Articles | HyperAI