Relighting unique d'une image de portrait

Les méthodes traditionnelles fondées sur des modèles physiques pour le relighting d’images de portraits nécessitent la résolution d’un problème de rendu inverse, visant à estimer la géométrie du visage, la réflectance et l’éclairage. Toutefois, une estimation inexacte des composantes du visage peut entraîner des artefacts importants lors du relighting, conduisant à des résultats insatisfaisants. Dans ce travail, nous appliquons une méthode de relighting fondée sur des principes physiques afin de générer un grand jeu de données de relighting de portraits, de haute qualité, dans des conditions « in the wild » (DPR). Un réseau neuronal convolutif profond (CNN) est ensuite entraîné à partir de ce jeu de données pour produire une image de portrait relumé, en prenant comme entrées une image source et un éclairage cible. La procédure d’entraînement régularise les résultats générés, éliminant ainsi les artefacts dus aux méthodes de relighting fondées sur des modèles physiques. Une perte GAN est en outre appliquée pour améliorer la qualité des images de portraits relumés. Notre réseau entraîné est capable de relumier des portraits à une résolution allant jusqu’à 1024 × 1024. Nous évaluons la méthode proposée sur le jeu de données DPR, ainsi que sur les jeux de données Flickr Portrait et Multi-PIE, à la fois qualitativement et quantitativement. Nos expérimentations démontrent que la méthode proposée atteint des résultats de pointe dans son domaine. Veuillez vous référer à https://zhhoper.github.io/dpr.html pour accéder au jeu de données et au code source.