OmniSR: Schattenentfernung bei direkter und indirekter Beleuchtung

Schatten können sowohl durch direkte als auch durch indirekte Beleuchtung entstehen. Obwohl die meisten aktuellen Forschungen zum Schattenentfernen sich auf Schatten konzentrieren, die durch direkte Beleuchtung verursacht werden, sind Schatten aus indirekter Beleuchtung oft genauso weit verbreitet, insbesondere in Innenraumszenen. Eine wesentliche Herausforderung bei der Entfernung von Schatten aus indirekter Beleuchtung besteht darin, schattenfreie Bilder zu erhalten, um das Schattenentfernungsnetzwerk zu trainieren. Um dieser Herausforderung zu begegnen, schlagen wir eine neuartige Rendering-Pipeline vor, die schattierte und schattenfreie Bilder unter direkter und indirekter Beleuchtung generiert. Zudem erstellen wir einen umfassenden synthetischen Datensatz, der über 30.000 Bildpaare enthält und verschiedene Objekttypen und Beleuchtungsbedingungen abdeckt. Wir stellen außerdem ein innovatives Schattenentfernungsnetzwerk vor, das semantische und geometrische Vorkenntnisse durch Konkatenation und Aufmerksamkeitsmechanismen explizit integriert. Die Experimente zeigen, dass unsere Methode den Stand der Technik im Bereich des Schattenentfernens übertreffen kann und effektiv auf Innen- und Außenszenen unter verschiedenen Beleuchtungsbedingungen verallgemeinert wird, was die Gesamteffizienz und Anwendbarkeit von Schattenentfernungsverfahren erhöht.