Tiefe Schätzung der Außenbeleuchtung

Wir präsentieren eine CNN-basierte Technik zur Schätzung von hochdynamischen Beleuchtungsverhältnissen im Freien aus einem einzelnen Bild mit niedriger Dynamik. Um das CNN zu trainieren, nutzen wir ein großes Datensatz von Outdoor-Panoramen. Wir passen ein physikalisch begründetes Modell für die Freibeleuchtung mit geringer Dimensionalität den Himmeln in diesen Panoramen an, wodurch wir einen kompakten Satz von Parametern erhalten (einschließlich Sonnenposition, atmosphärischen Bedingungen und Kameraparametern). Aus den Panoramen extrahieren wir Bilder mit begrenztem Sichtfeld und trainieren das CNN mit dieser großen Menge an Eingangs- und Ausgangsbild-Parameterpaaren. Für ein Testbild kann dieses Netzwerk verwendet werden, um Beleuchtungsparameter zu inferieren, die ihrerseits zur Rekonstruktion einer Freibeleuchtungsumgebungsabbildung genutzt werden können. Wir zeigen, dass unser Ansatz es ermöglicht, plausibele Beleuchtungsbedingungen wiederherzustellen und die photorealistische Einfügung virtueller Objekte aus einem einzelnen Bild zu ermöglichen. Eine umfangreiche Evaluierung sowohl am Panoramadatensatz als auch an erfassten HDR-Umgebungsabbildungen zeigt, dass unsere Technik deutlich bessere Ergebnisse als bisherige Lösungen für dieses Problem erzielt.