HyperAIHyperAI

Command Palette

Search for a command to run...

AdaIR: Adaptive All-in-One Image Restoration durch Frequenzmining und Modulation

Yuning Cui Syed Waqas Zamir Salman Khan Alois Knoll Mubarak Shah Fahad Shahbaz Khan

Zusammenfassung

Bei der Bildaufnahme treten häufig verschiedene Formen von Degradationen wie Rauschen, Haze und Regen auf. Diese Degradationen entstehen typischerweise aufgrund der inhärenten Beschränkungen von Kameras oder ungünstiger Umgebungsbedingungen. Um saubere Bilder aus degradierten Versionen wiederherzustellen, wurden zahlreiche spezialisierte Restaurationsmethoden entwickelt, die jeweils eine bestimmte Art von Degradation adressieren. In letzter Zeit haben sogenannte „All-in-One“-Algorithmen erhebliche Aufmerksamkeit erlangt, da sie verschiedene Arten von Degradationen innerhalb eines einzigen Modells behandeln, ohne Vorwissen über die Art der Eingabedegradation zu erfordern. Diese Methoden operieren jedoch rein im räumlichen Bereich und untersuchen nicht die unterschiedlichen Frequenzvariationen, die charakteristisch für verschiedene Degradationstypen sind. Um diese Lücke zu schließen, schlagen wir ein adaptives All-in-One-Bildrestaurationsnetzwerk vor, das auf Frequenzmining und -modulation basiert. Unser Ansatz wird durch die Beobachtung motiviert, dass verschiedene Degradationstypen die Bildinhalte auf unterschiedlichen Frequenzunterbändern beeinflussen und daher für jede Restaurationsaufgabe unterschiedliche Behandlungsstrategien erfordern. Konkret extrahieren wir zunächst tief- und hochfrequente Informationen aus den Eingabefeatures, wobei wir uns an den adaptiv entkoppelten Spektren des degradierten Bildes orientieren. Die gewonnenen Merkmale werden anschließend durch einen bidirektionalen Operator moduliert, um die Interaktion zwischen den verschiedenen Frequenzkomponenten zu fördern. Schließlich werden die modulierten Merkmale mit der ursprünglichen Eingabe verschmolzen, um eine schrittweise, guided Restaurierung zu ermöglichen. Auf diese Weise erreicht das Modell eine adaptive Rekonstruktion, indem es je nach Art der Eingabedegradation die informativen Frequenzunterbänder verstärkt. Umfangreiche Experimente zeigen, dass die vorgeschlagene Methode hervorragende Ergebnisse auf verschiedenen Bildrestaurationsaufgaben erzielt, darunter Rauschunterdrückung, Haze-Entfernung, Regenentfernung, Bewegungsunschärfekorrektur sowie Verbesserung von Bildern bei schlechtem Licht. Der Quellcode ist unter https://github.com/c-yn/AdaIR verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp