Mehrstufige progressivere Bildrestaurierung

Aufgaben der Bildrekonstruktion erfordern ein komplexes Gleichgewicht zwischen räumlichen Details und hochwertigen kontextuellen Informationen bei der Wiederherstellung von Bildern. In diesem Paper stellen wir einen neuartigen synergistischen Entwurf vor, der diese konkurrierenden Ziele optimal ausbalancieren kann. Unser zentrales Konzept ist eine mehrstufige Architektur, die die Restaurationsfunktionen schrittweise für die beeinträchtigten Eingaben lernt und somit den gesamten Wiederherstellungsprozess in handhabbare Schritte aufteilt. Konkret lernt unser Modell zunächst kontextualisierte Merkmale mittels Encoder-Decoder-Architekturen und kombiniert diese anschließend mit einem hochauflösenden Zweig, der lokale Informationen bewahrt. In jeder Stufe führen wir eine neuartige adaptiv-per-Pixel-Design ein, das auf in-situ überwachtem Aufmerksamkeitsmechanismus basiert, um die lokalen Merkmale neu zu gewichten. Ein entscheidender Bestandteil einer solchen mehrstufigen Architektur ist der Informationsaustausch zwischen den verschiedenen Stufen. Dazu schlagen wir einen zweifachen Ansatz vor, bei dem die Information nicht nur sequenziell von frühen zu späten Stufen weitergegeben wird, sondern auch seitliche Verbindungen zwischen den Merkmalsverarbeitungseinheiten bestehen, um jeglichen Informationsverlust zu vermeiden. Die resultierende eng verzahnte mehrstufige Architektur, benannt als MPRNet, erzielt erhebliche Leistungssteigerungen auf zehn Datensätzen über eine Vielzahl von Aufgaben hinweg, darunter Bildentregen, Entschärfung und Rauschunterdrückung. Der Quellcode und vortrainierte Modelle sind unter https://github.com/swz30/MPRNet verfügbar.