HyperAIHyperAI

Command Palette

Search for a command to run...

DualDn: Dual-Domain Denoising durch differenzierbare ISP

Ruikang Li Yujin Wang Shiqi Chen Fan Zhang Jinwei Gu Tianfan Xue

Zusammenfassung

Bildrauschenunterdrückung ist eine zentrale Komponente im Bildsignalverarbeitungs-(ISP-)Pfad einer Kamera. Es gibt zwei typische Ansätze, einen Rauschunterdrückungsalgorithmus in den ISP-Pfad zu integrieren: entweder die Anwendung eines Denoisers direkt auf die aufgenommenen Rohbilder (Rohdatenbereich) oder auf die sRGB-Ausgabe des ISP (sRGB-Bereich). Beide Ansätze weisen jedoch erhebliche Grenzen auf. Restrauschen aus der Rohdatenrauschunterdrückung kann durch die nachfolgende ISP-Verarbeitung verstärkt werden, während der sRGB-Bereich Schwierigkeiten hat, räumlich variierendes Rauschen zu bewältigen, da er nur auf Rauschen stößt, das durch den ISP verzerrt wurde. Folglich sind die meisten Ansätze zur Rauschunterdrückung im Rohdaten- oder sRGB-Bereich nur für spezifische Rauschverteilungen und ISP-Konfigurationen geeignet. Um diese Herausforderungen zu bewältigen, stellen wir DualDn vor – einen neuartigen, lernbasierten Denoising-Ansatz im dualen Bereich. Im Gegensatz zu früheren Einbereichs-Denoising-Methoden besteht DualDn aus zwei Denoisern: einem im Rohdatenbereich und einem im sRGB-Bereich. Der Rohdaten-Denoiser passt sich sensor-spezifischem Rauschen sowie räumlich variierenden Rauschpegeln an, während der sRGB-Denoiser ISP-variierenden Einflüssen Rechnung trägt und Restrauschen kompensiert, das durch die ISP-Verarbeitung verstärkt wurde. Beide Denoisern werden über eine differenzierbare ISP miteinander verbunden, die end-to-end trainiert wird und im Inferenzstadium verworfen wird. Durch diese Architektur erreicht DualDn eine höhere Verallgemeinerungsfähigkeit im Vergleich zu den meisten lernbasierten Denoisings-Methoden, da sie sich an unterschiedliche, bisher unbekannte Rauschmuster, ISP-Parameter und sogar neuartige ISP-Pipelines anpassen kann. Experimente zeigen, dass DualDn die derzeit beste Leistung erzielt und sich an verschiedene Denoising-Architekturen anpassen lässt. Darüber hinaus kann DualDn als Plug-and-Play-Modul mit echten Kameras verwendet werden, ohne erneut trainiert zu werden, und dennoch eine bessere Leistung als kommerzielle On-Camera-Rauschunterdrückung erzielen. Die Projektwebsite ist unter folgender Adresse verfügbar: https://openimaginglab.github.io/DualDn/


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp