DualDn: Dual-Domain Denoising durch differenzierbare ISP

Bildrauschenunterdrückung ist eine zentrale Komponente im Bildsignalverarbeitungs-(ISP-)Pfad einer Kamera. Es gibt zwei typische Ansätze, einen Rauschunterdrückungsalgorithmus in den ISP-Pfad zu integrieren: entweder die Anwendung eines Denoisers direkt auf die aufgenommenen Rohbilder (Rohdatenbereich) oder auf die sRGB-Ausgabe des ISP (sRGB-Bereich). Beide Ansätze weisen jedoch erhebliche Grenzen auf. Restrauschen aus der Rohdatenrauschunterdrückung kann durch die nachfolgende ISP-Verarbeitung verstärkt werden, während der sRGB-Bereich Schwierigkeiten hat, räumlich variierendes Rauschen zu bewältigen, da er nur auf Rauschen stößt, das durch den ISP verzerrt wurde. Folglich sind die meisten Ansätze zur Rauschunterdrückung im Rohdaten- oder sRGB-Bereich nur für spezifische Rauschverteilungen und ISP-Konfigurationen geeignet. Um diese Herausforderungen zu bewältigen, stellen wir DualDn vor – einen neuartigen, lernbasierten Denoising-Ansatz im dualen Bereich. Im Gegensatz zu früheren Einbereichs-Denoising-Methoden besteht DualDn aus zwei Denoisern: einem im Rohdatenbereich und einem im sRGB-Bereich. Der Rohdaten-Denoiser passt sich sensor-spezifischem Rauschen sowie räumlich variierenden Rauschpegeln an, während der sRGB-Denoiser ISP-variierenden Einflüssen Rechnung trägt und Restrauschen kompensiert, das durch die ISP-Verarbeitung verstärkt wurde. Beide Denoisern werden über eine differenzierbare ISP miteinander verbunden, die end-to-end trainiert wird und im Inferenzstadium verworfen wird. Durch diese Architektur erreicht DualDn eine höhere Verallgemeinerungsfähigkeit im Vergleich zu den meisten lernbasierten Denoisings-Methoden, da sie sich an unterschiedliche, bisher unbekannte Rauschmuster, ISP-Parameter und sogar neuartige ISP-Pipelines anpassen kann. Experimente zeigen, dass DualDn die derzeit beste Leistung erzielt und sich an verschiedene Denoising-Architekturen anpassen lässt. Darüber hinaus kann DualDn als Plug-and-Play-Modul mit echten Kameras verwendet werden, ohne erneut trainiert zu werden, und dennoch eine bessere Leistung als kommerzielle On-Camera-Rauschunterdrückung erzielen. Die Projektwebsite ist unter folgender Adresse verfügbar: https://openimaginglab.github.io/DualDn/