OneRestore: Ein universelles Restaurationssystem für komplexe Degradationen

In realistischen Szenarien manifestieren sich Bildbeeinträchtigungen oft als zusammengesetzte Degradierungen, die eine komplexe Wechselwirkung von Elementen wie geringer Beleuchtung, Nebel, Regen und Schnee darstellen. Trotz dieser Realität richten existierende Restaurierungsmethoden in der Regel ihre Aufmerksamkeit auf isolierte Degradierungstypen und sind daher in Umgebungen, in denen mehrere verschlechternde Faktoren gleichzeitig auftreten, unzureichend. Um diese Lücke zu schließen, schlägt unsere Studie ein vielseitiges Bildmodell vor, das vier physikalische Korruptionsparadigmen zusammenführt, um komplexe, zusammengesetzte Degradierungsszenarien präzise darzustellen. In diesem Zusammenhang stellen wir OneRestore vor, einen neuartigen Framework basierend auf Transformatoren, der für adaptive und steuerbare Szenerestaurierung entwickelt wurde. Der vorgeschlagene Framework nutzt ein einzigartiges Cross-Attention-Mechanismus (Kreuzaufmerksamkeitsmechanismus), der verschlechterte Szenebeschreibungen mit Bildmerkmalen verbindet und so eine feinsinnige Restaurierung ermöglicht. Unser Modell erlaubt vielseitige Eingabeszenebeschreibungen, die von manuellen Texteinbettungen bis hin zu automatischen Extraktionen auf Basis visueller Attribute reichen. Unsere Methodik wird durch einen Verlust für die Restaurierung zusammengesetzter Degradierungen weiter verbessert, bei dem zusätzlich verschlechterte Bilder als Negative Beispiele verwendet werden, um die Modellrestriktionen zu stärken. Vergleichsergebnisse an synthetischen und realistischen Datensätzen zeigen OneRestore als überlegene Lösung, die den Stand der Technik bei der Bewältigung komplexer, zusammengesetzter Degradierungen erheblich vorantreibt.