Vers une reconstruction faciale monoculaire de haute fidélité avec une réflectance riche grâce à l'apprentissage auto-supervisé et au traçage de rayons

La reconstruction robuste du visage à partir d’une image monoscopique dans des conditions d’éclairage générales est un défi majeur. Les méthodes combinant des encodeurs à réseaux de neurones profonds avec un rendu différentiable ont ouvert la voie à une reconstruction monoscopique très rapide de la géométrie, de l’éclairage et de la réflectance. Elles peuvent également être entraînées de manière auto-supervisée afin d’améliorer leur robustesse et leur généralisation. Toutefois, leurs modèles de formation d’image fondés sur une rasterisation différentiable, ainsi que leur paramétrisation scénique sous-jacente, les limitent à une réflectance de visage de type Lambertien et à des détails de forme insuffisants. Plus récemment, le traçage de rayons a été introduit dans le cadre d’un cadre classique basé sur l’optimisation pour la reconstruction monoscopique du visage, permettant d’atteindre des résultats de pointe. Toutefois, les approches basées sur l’optimisation sont intrinsèquement lentes et manquent de robustesse. Dans cet article, nous nous appuyons sur les approches précédemment mentionnées et proposons une nouvelle méthode qui améliore considérablement la qualité et la robustesse de la reconstruction dans des scènes générales. Nous y parvenons en combinant un encodeur CNN avec un traçage de rayons différentiable, ce qui nous permet de baser la reconstruction sur des albedos diffus et spéculaires personnalisés bien plus avancés, un modèle d’éclairage plus sophistiqué et une représentation réaliste des ombres propres. Cette approche permet ainsi un progrès significatif en matière de qualité de reconstruction de la forme, de l’apparence et de l’éclairage, même dans des scènes à éclairage complexe. Grâce à une reconstruction cohérente des attributs faciaux, notre méthode ouvre la voie à des applications pratiques telles que le re-éclairage et la suppression des ombres propres. Par rapport aux méthodes de pointe, nos résultats démontrent une précision et une validité améliorées de l’approche.