HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Deep Single-Image Portrait Relighting

{ David W. Jacobs Kalyan Sunkavalli Sunil Hadap Hao Zhou}

Deep Single-Image Portrait Relighting

Abstract

Herkömmliche, physikalisch basierte Methoden zur Neubeleuchtung von Porträtfotos erfordern die Lösung eines inversen Rendering-Problems, bei dem Gesichtsgeometrie, Reflexionseigenschaften und Beleuchtung geschätzt werden müssen. Eine ungenaue Schätzung der Gesichtsbestandteile kann jedoch starke Artefakte bei der Neubeleuchtung verursachen, was zu unzufriedenstellenden Ergebnissen führt. In dieser Arbeit wenden wir eine physikalisch basierte Methode zur Neubeleuchtung von Porträts an, um eine große, hochwertige, „in the wild“-Datensammlung für die Neubeleuchtung von Porträts (DPR) zu erstellen. Anschließend wird ein tiefes Faltungsneuronales Netzwerk (CNN) mit dieser Datensammlung trainiert, um ein neu beleuchtetes Porträtbild aus einem Quellbild und einer Zielbeleuchtung als Eingabe zu generieren. Der Trainingsprozess regularisiert die generierten Ergebnisse und beseitigt die durch physikalisch basierte Neubeleuchtungsmethoden verursachten Artefakte. Zusätzlich wird eine GAN-Verlustfunktion eingesetzt, um die Qualität des neu beleuchteten Porträts weiter zu verbessern. Das trainierte Netzwerk kann Porträts mit Auflösungen bis zu 1024 × 1024 neu beleuchten. Wir evaluieren die vorgeschlagene Methode sowohl qualitativ als auch quantitativ auf der selbst vorgestellten DPR-Datensammlung, der Flickr-Porträt-Datensammlung sowie der Multi-PIE-Datensammlung. Unsere Experimente zeigen, dass die vorgeschlagene Methode Ergebnisse auf aktuellem Stand der Technik erreicht. Weitere Informationen zur Datensammlung und zum Code finden Sie unter https://zhhoper.github.io/dpr.html.

Benchmarks

BenchmarkMethodikMetriken
single-image-portrait-relighting-on-multi-pieDsIPR
Si-L2: 0.1444
Si-MSE: 0.00590eee

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp