Zur hochfidelitätsorientierten monokularen Gesichtsrekonstruktion mit reicher Reflexionseigenschaft unter Verwendung von selbstüberwachtem Lernen und Strahlenverfolgung

Die robuste Gesichtsrekonstruktion aus einer einzigen Bildaufnahme unter allgemeinen Beleuchtungsbedingungen ist herausfordernd. Methoden, die tiefe neuronale Netzwerk-Encoder mit differenzierbarer Rendering-Technik kombinieren, haben den Weg für eine äußerst schnelle monokulare Rekonstruktion von Geometrie, Beleuchtung und Reflektanz geebnet. Sie können zudem im selbstüberwachten Lernansatz trainiert werden, was die Robustheit und Generalisierbarkeit erhöht. Allerdings beschränken ihre auf differenzierbarer Rasterisierung basierenden Bildentstehungsmodelle sowie die zugrundeliegende Szenen-Parameterisierung die Anwendung auf Lambert-Reflektanz und führen zu einer geringen Detailgenauigkeit der Form. In jüngster Zeit wurde Raytracing innerhalb eines klassischen, auf Optimierung basierenden Rahmens für die monokulare Gesichtsrekonstruktion eingeführt und ermöglicht state-of-the-art Ergebnisse. Allerdings sind optimierungsbasierte Ansätze inhärent langsam und weisen eine geringe Robustheit auf. In diesem Paper bauen wir auf den oben genannten Ansätzen auf und stellen eine neue Methode vor, die die Rekonstruktionsqualität und Robustheit in allgemeinen Szenen erheblich verbessert. Dies erreichen wir durch die Kombination eines CNN-Encoders mit einem differenzierbaren Raytracer, wodurch wir auf viel fortschrittlichere, personenbezogene diffuse und spekulaire Albedos, ein komplexeres Beleuchtungsmodell sowie eine plausiblere Darstellung von Selbstschatten basieren können. Dadurch gelingt ein großer Sprung vorwärts in der Rekonstruktionsqualität von Form, Erscheinungsbild und Beleuchtung, selbst in Szenen mit schwieriger Beleuchtung. Durch eine konsistente Rekonstruktion von Gesichtsmerkmalen ermöglicht unsere Methode praktische Anwendungen wie das Nachbeleuchten und die Entfernung von Selbstschatten. Im Vergleich zu state-of-the-art-Methoden zeigen unsere Ergebnisse eine verbesserte Genauigkeit und Validität des Ansatzes.