Nicht-Lokales Rekurrentes Netzwerk für Bildrestauration

Viele klassische Methoden haben gezeigt, dass die nicht-lokale Selbstähnlichkeit in natürlichen Bildern ein effektives Prior für die Bildrestauration ist. Allerdings bleibt es unklar und herausfordernd, dieses intrinsische Merkmal durch tiefere Netze zu nutzen. In dieser Arbeit schlagen wir ein nicht-locales rekurrentes Netzwerk (NLRN) vor, als ersten Versuch, nicht-lokale Operationen in ein rekurrentes neuronales Netzwerk (RNN) zur Bildrestauration zu integrieren. Die wichtigsten Beiträge dieser Arbeit sind:(1) Im Gegensatz zu bestehenden Methoden, die die Selbstähnlichkeit isoliert messen, kann das vorgeschlagene nicht-lokale Modul flexibel in bestehende tiefe Netze integriert werden, um eine end-to-end-Ausbildung durchzuführen und die Korrelation von tiefen Features zwischen jedem Standort und seiner Nachbarschaft zu erfassen.(2) Wir nutzen die RNN-Struktur vollständig aufgrund ihrer Parameter-Effizienz und ermöglichen es, dass die Korrelation von tiefen Features entlang benachbarter rekurrenter Zustände weitergegeben wird. Diese neue Konstruktion erhöht die Robustheit gegen fehlerhafte Korrelationsabschätzungen aufgrund stark degradierten Bildern.(3) Wir zeigen, dass es bei der Berechnung der Korrelation von tiefen Features unter Berücksichtigung degradierten Bildern entscheidend ist, eine begrenzte Nachbarschaft beizubehalten. Dies steht im Gegensatz zur üblichen Praxis, das gesamte Bild zu verwenden.Umfangreiche Experimente wurden sowohl bei Aufgaben der Bildentrauschung als auch bei der Super-Resolution durchgeführt. Dank der rekurrenten nicht-lokalen Operationen und der Korrelationsverbreitung erzielt das vorgeschlagene NLRN überlegene Ergebnisse im Vergleich zu den besten bisher bekannten Methoden mit deutlich weniger Parametern.