HyperAIHyperAI

Command Palette

Search for a command to run...

Zur hochfidelitätsorientierten monokularen Gesichtsrekonstruktion mit reicher Reflexionseigenschaft unter Verwendung von selbstüberwachtem Lernen und Strahlenverfolgung

Abdallah Dib Cedric Thebault Junghyun Ahn Philippe-Henri Gosselin Christian Theobalt Louis Chevallier

Zusammenfassung

Die robuste Gesichtsrekonstruktion aus einer einzigen Bildaufnahme unter allgemeinen Beleuchtungsbedingungen ist herausfordernd. Methoden, die tiefe neuronale Netzwerk-Encoder mit differenzierbarer Rendering-Technik kombinieren, haben den Weg für eine äußerst schnelle monokulare Rekonstruktion von Geometrie, Beleuchtung und Reflektanz geebnet. Sie können zudem im selbstüberwachten Lernansatz trainiert werden, was die Robustheit und Generalisierbarkeit erhöht. Allerdings beschränken ihre auf differenzierbarer Rasterisierung basierenden Bildentstehungsmodelle sowie die zugrundeliegende Szenen-Parameterisierung die Anwendung auf Lambert-Reflektanz und führen zu einer geringen Detailgenauigkeit der Form. In jüngster Zeit wurde Raytracing innerhalb eines klassischen, auf Optimierung basierenden Rahmens für die monokulare Gesichtsrekonstruktion eingeführt und ermöglicht state-of-the-art Ergebnisse. Allerdings sind optimierungsbasierte Ansätze inhärent langsam und weisen eine geringe Robustheit auf. In diesem Paper bauen wir auf den oben genannten Ansätzen auf und stellen eine neue Methode vor, die die Rekonstruktionsqualität und Robustheit in allgemeinen Szenen erheblich verbessert. Dies erreichen wir durch die Kombination eines CNN-Encoders mit einem differenzierbaren Raytracer, wodurch wir auf viel fortschrittlichere, personenbezogene diffuse und spekulaire Albedos, ein komplexeres Beleuchtungsmodell sowie eine plausiblere Darstellung von Selbstschatten basieren können. Dadurch gelingt ein großer Sprung vorwärts in der Rekonstruktionsqualität von Form, Erscheinungsbild und Beleuchtung, selbst in Szenen mit schwieriger Beleuchtung. Durch eine konsistente Rekonstruktion von Gesichtsmerkmalen ermöglicht unsere Methode praktische Anwendungen wie das Nachbeleuchten und die Entfernung von Selbstschatten. Im Vergleich zu state-of-the-art-Methoden zeigen unsere Ergebnisse eine verbesserte Genauigkeit und Validität des Ansatzes.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp