Tanzen unter den Sternen: Videorauhigkeitsreduzierung im Sternenlicht

Die Bildaufnahme bei schwachem Licht ist aufgrund der geringen Photonenzahl äußerst herausfordernd. Mittels empfindlicher CMOS-Kameras ist derzeit die Aufnahme von Videos bei Nacht unter Mondlicht (0,05–0,3 Lux Beleuchtung) möglich. In diesem Beitrag zeigen wir erstmals photorealistische Videos unter Sternenlicht (kein Mond vorhanden, < 0,001 Lux). Um dies zu ermöglichen, entwickeln wir einen GAN-optimierten, physikbasierten Rauschmodell, der den Kamerarausch bei den extrem niedrigen Lichtverhältnissen präziser abbildet. Mit diesem Rauschmodell trainieren wir einen Video-Rauschunterdrückungsalgorithmus, indem wir eine Kombination aus simulierten rauschbehafteten Videosequenzen und realen rauschbehafteten Einzelbildern verwenden. Wir erfassen ein Video-Datensatz mit einer Frame-Rate von 5–10 fps und erheblicher Bewegung bei etwa 0,6–0,7 Millilux ohne aktive Beleuchtung. Im Vergleich zu alternativen Methoden erreichen wir bei den niedrigsten Lichtverhältnissen eine verbesserte Videoqualität und demonstrieren damit erstmals die photorealistische Rauschunterdrückung von Videos unter Sternenlicht.