HyperAIHyperAI

Command Palette

Search for a command to run...

Une perte de forme perceptuelle pour la reconstruction 3D monoculaire du visage

Otto Christopher ; Chandran Prashanth ; Zoss Gaspard ; Gross Markus ; Gotardo Paulo ; Bradley Derek

Résumé

La reconstruction 3D monoculaire du visage est un sujet largement étudié, et les approches existantes abordent ce problème soit par une inférence rapide de réseau neuronal, soit par une reconstruction itérative hors ligne de la géométrie faciale. Dans les deux cas, des fonctions d'énergie soigneusement conçues sont minimisées, généralement incluant des termes de perte tels qu'une perte photométrique, une perte de réprojection des points d'intérêt, et d'autres. Dans cette étude, nous proposons une nouvelle fonction de perte pour la capture monoculaire du visage, inspirée de la manière dont les humains perçoivent la qualité d'une reconstruction 3D du visage à partir d'une image donnée. Il est bien connu que l'ombrage fournit un indicateur fort de la forme 3D dans le système visuel humain. Par conséquent, notre nouvelle fonction de perte « perceptuelle » vise à évaluer la qualité d'une estimation 3D du visage en utilisant uniquement des indices d'ombrage. Notre fonction de perte est mise en œuvre sous forme de réseau neuronal style discriminateur qui prend en entrée une image faciale et un rendu ombragé de l'estimation géométrique, puis prédit un score qui évalue perceptuellement à quel point le rendu ombragé correspond à l'image donnée. Ce réseau « critique » opère uniquement sur l'image RGB et le rendu géométrique, sans nécessiter une estimation du facteur albedo ou de l'éclairage dans la scène. De plus, notre fonction de perte opère entièrement dans l'espace image et est donc indifférente à la topologie du maillage. Nous montrons comment notre nouvelle fonction de perte perceptuelle peut être combinée avec les termes énergétiques traditionnels pour l'optimisation 3D monoculaire du visage et la régression par réseau neuronal profond, améliorant ainsi les résultats actuels de pointe.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp