HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage de la régression de la forme et de l'expression du visage 3D à partir d'une image sans supervision 3D

Soubhik Sanyal Timo Bolkart Haiwen Feng Michael J. Black

Résumé

L'estimation de la forme faciale 3D à partir d'une seule image doit être robuste aux variations d'éclairage, de pose de la tête, d'expression, de pilosité faciale, de maquillage et d'occlusions. La robustesse nécessite un grand ensemble d'apprentissage composé d'images naturelles, qui, par définition, ne disposent pas de vérités terrain en 3D. Pour former un réseau sans aucune supervision 2D-3D, nous présentons RingNet, qui apprend à calculer la forme faciale 3D à partir d'une seule image. Notre observation clé est que la forme du visage d'un individu reste constante entre les images, indépendamment de l'expression, de la pose ou de l'éclairage. RingNet exploite plusieurs images d'une même personne et des caractéristiques faciales 2D détectées automatiquement. Il utilise une nouvelle fonction de perte qui encourage la similarité de la forme faciale lorsque l'identité est la même et la différence pour des personnes différentes. Nous obtenons une invariance à l'expression en représentant le visage avec le modèle FLAME. Une fois formée, notre méthode prend une seule image en entrée et produit les paramètres du modèle FLAME, qui peuvent être facilement animés. De plus, nous créons une nouvelle base de données de visages « presque naturels » (Not Quite In-the-Wild - NoW) comprenant des scans 3D du crâne et des images haute résolution des sujets dans une grande variété de conditions. Nous évaluons les méthodes publiques disponibles et constatons que RingNet est plus précis que celles utilisant une supervision 3D. Le jeu de données, le modèle et les résultats sont disponibles à des fins de recherche sur http://ringnet.is.tuebingen.mpg.de.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp