HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

Relighting unique d'une image de portrait

{ David W. Jacobs Kalyan Sunkavalli Sunil Hadap Hao Zhou}

Relighting unique d'une image de portrait

Résumé

Les méthodes traditionnelles fondées sur des modèles physiques pour le relighting d’images de portraits nécessitent la résolution d’un problème de rendu inverse, visant à estimer la géométrie du visage, la réflectance et l’éclairage. Toutefois, une estimation inexacte des composantes du visage peut entraîner des artefacts importants lors du relighting, conduisant à des résultats insatisfaisants. Dans ce travail, nous appliquons une méthode de relighting fondée sur des principes physiques afin de générer un grand jeu de données de relighting de portraits, de haute qualité, dans des conditions « in the wild » (DPR). Un réseau neuronal convolutif profond (CNN) est ensuite entraîné à partir de ce jeu de données pour produire une image de portrait relumé, en prenant comme entrées une image source et un éclairage cible. La procédure d’entraînement régularise les résultats générés, éliminant ainsi les artefacts dus aux méthodes de relighting fondées sur des modèles physiques. Une perte GAN est en outre appliquée pour améliorer la qualité des images de portraits relumés. Notre réseau entraîné est capable de relumier des portraits à une résolution allant jusqu’à 1024 × 1024. Nous évaluons la méthode proposée sur le jeu de données DPR, ainsi que sur les jeux de données Flickr Portrait et Multi-PIE, à la fois qualitativement et quantitativement. Nos expérimentations démontrent que la méthode proposée atteint des résultats de pointe dans son domaine. Veuillez vous référer à https://zhhoper.github.io/dpr.html pour accéder au jeu de données et au code source.

Dépôts de code

Benchmarks

BenchmarkMéthodologieMétriques
single-image-portrait-relighting-on-multi-pieDsIPR
Si-L2: 0.1444
Si-MSE: 0.00590eee

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp