Adaptives blindes All-in-One-Bildrestauration

Blinde All-in-One-Bildrestaurationsmodelle zielen darauf ab, ein hochwertiges Bild aus einer eingegebenen, mit unbekannten Verzerrungen versehenen Abbildung wiederherzustellen. Diese Modelle erfordern jedoch, dass alle möglichen Degradationstypen während der Trainingsphase definiert werden, wobei ihre Generalisierungsfähigkeit auf unbekannte Verzerrungen begrenzt ist. Dies beschränkt ihre praktische Anwendung in komplexen Fällen. In dieser Arbeit schlagen wir ein einfaches, aber effektives adaptives blindes All-in-One-Restaurationsmodell (ABAIR) vor, das mehrere Degradationen bewältigen kann, sich gut auf unbekannte Verzerrungen verallgemeinert und neue Degradationen durch das Training eines kleinen Bruchteils der Parameter effizient integrieren kann.Zunächst trainieren wir unser Basismodell auf einem großen Datensatz natürlicher Bilder mit mehreren synthetischen Degradationen, wobei ein Segmentierungshead hinzugefügt wird, um die Degradationstypen pro Pixel zu schätzen. Dies führt zu einem leistungsfähigen Backbone, der sich auf eine breite Palette von Verzerrungen verallgemeinern kann. Als Zweites passen wir unser Basismodell an verschiedene Bildrestaurationsaufgaben an, indem wir unabhängige Low-Rank-Adapter verwenden. Drittens lernen wir, Adapter flexibel und ressourcenschonend für vielseitige Bilder kombinieren zu können, indem wir einen flexiblen und leichtgewichtigen Degradationsschätzer einsetzen.Unser Modell ist sowohl leistungsfähig bei der Bewältigung spezifischer Verzerrungen als auch flexibel bei der Anpassung an komplexe Aufgaben. Es übertrifft den aktuellen Stand der Technik nicht nur deutlich in fünf- und dreiaufgaben-basierten IR-Konfigurationen (Image Restoration), sondern zeigt auch eine verbesserte Generalisierung auf unbekannte Verzerrungen sowie zusammengesetzte Störungen.