AdaIR: Adaptive All-in-One Image Restoration durch Frequenzmining und Modulation

Bei der Bildaufnahme treten häufig verschiedene Formen von Degradationen wie Rauschen, Haze und Regen auf. Diese Degradationen entstehen typischerweise aufgrund der inhärenten Beschränkungen von Kameras oder ungünstiger Umgebungsbedingungen. Um saubere Bilder aus degradierten Versionen wiederherzustellen, wurden zahlreiche spezialisierte Restaurationsmethoden entwickelt, die jeweils eine bestimmte Art von Degradation adressieren. In letzter Zeit haben sogenannte „All-in-One“-Algorithmen erhebliche Aufmerksamkeit erlangt, da sie verschiedene Arten von Degradationen innerhalb eines einzigen Modells behandeln, ohne Vorwissen über die Art der Eingabedegradation zu erfordern. Diese Methoden operieren jedoch rein im räumlichen Bereich und untersuchen nicht die unterschiedlichen Frequenzvariationen, die charakteristisch für verschiedene Degradationstypen sind. Um diese Lücke zu schließen, schlagen wir ein adaptives All-in-One-Bildrestaurationsnetzwerk vor, das auf Frequenzmining und -modulation basiert. Unser Ansatz wird durch die Beobachtung motiviert, dass verschiedene Degradationstypen die Bildinhalte auf unterschiedlichen Frequenzunterbändern beeinflussen und daher für jede Restaurationsaufgabe unterschiedliche Behandlungsstrategien erfordern. Konkret extrahieren wir zunächst tief- und hochfrequente Informationen aus den Eingabefeatures, wobei wir uns an den adaptiv entkoppelten Spektren des degradierten Bildes orientieren. Die gewonnenen Merkmale werden anschließend durch einen bidirektionalen Operator moduliert, um die Interaktion zwischen den verschiedenen Frequenzkomponenten zu fördern. Schließlich werden die modulierten Merkmale mit der ursprünglichen Eingabe verschmolzen, um eine schrittweise, guided Restaurierung zu ermöglichen. Auf diese Weise erreicht das Modell eine adaptive Rekonstruktion, indem es je nach Art der Eingabedegradation die informativen Frequenzunterbänder verstärkt. Umfangreiche Experimente zeigen, dass die vorgeschlagene Methode hervorragende Ergebnisse auf verschiedenen Bildrestaurationsaufgaben erzielt, darunter Rauschunterdrückung, Haze-Entfernung, Regenentfernung, Bewegungsunschärfekorrektur sowie Verbesserung von Bildern bei schlechtem Licht. Der Quellcode ist unter https://github.com/c-yn/AdaIR verfügbar.