HyperAIHyperAI

Command Palette

Search for a command to run...

CycleISP: Echtbild-Restaurierung durch verbesserte Datensynthese

Syed Waqas Zamir Aditya Arora Salman Khan Munawar Hayat Fahad Shahbaz Khan Ming-Hsuan Yang Ling Shao

Zusammenfassung

Die Verfügbarkeit großskaliger Datensätze hat das wahre Potenzial tiefer konvolutioneller neuronalen Netze (CNNs) entscheidend freigesetzt. Für das Problem der Einzelbild-Rauschunterdrückung ist die Erhebung eines realen Datensatzes jedoch äußerst kostspielig und aufwendig. Daher werden Bildrauschunterdrückungsalgorithmen in der Regel auf synthetischen Daten entwickelt und evaluiert, die üblicherweise unter der weit verbreiteten Annahme von additivem weißem Gaußschem Rauschen (AWGN) generiert werden. Während CNNs auf diesen synthetischen Datensätzen beeindruckende Ergebnisse erzielen, schneiden sie bei Anwendung auf echte Kamerabilder deutlich schlechter ab, wie kürzlich in Benchmark-Datensätzen dokumentiert wurde. Dies liegt hauptsächlich daran, dass AWGN nicht ausreichend ist, um das echte Kamerarauschen zu modellieren, das signalabhängig ist und stark durch die Kamerabildverarbeitungskette transformiert wird. In diesem Paper stellen wir einen Rahmen vor, der die Kamerabildverarbeitungskette in Vorwärts- und Rückwärtsrichtung modelliert. Dadurch können beliebig viele realistische Bildpaare sowohl im RAW- als auch im sRGB-Raum für die Rauschunterdrückung generiert werden. Durch das Training eines neuen Bildrauschunterdrückungsnetzwerks auf realistischen synthetischen Daten erreichen wir die bisher beste Leistung auf realen Kamerabenchmark-Datensätzen. Die Parameteranzahl in unserem Modell beträgt etwa ein Fünftel des vorherigen besten Ansatzes für die RAW-Rauschunterdrückung. Zudem zeigen wir, dass der vorgeschlagene Rahmen über das Problem der Bildrauschunterdrückung hinaus generalisierbar ist, beispielsweise für die Farbkorrektur in stereoskopischen Kinofilmen. Der Quellcode und vortrainierte Modelle sind unter https://github.com/swz30/CycleISP verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp