Gated Multiple Feedback Netzwerk für Bildauflösung

Die rasante Entwicklung des tiefen Lernens (Deep Learning, DL) hat die Super-Resolution (SR) von einzelnen Bildern in eine neue Ära geführt. Allerdings fließen in den meisten bestehenden DL-basierten Bild-SR-Netzwerken die Informationen ausschließlich vorwärts, und die hochstufigen Merkmale können nicht vollständig ausgeschöpft werden. In dieser Arbeit schlagen wir das Gated Multiple Feedback Network (GMFN) für eine präzise Bild-SR vor, bei dem die Darstellung der niedrigstufigen Merkmale durch die Umleitung mehrerer hochstufiger Merkmale effizient bereichert wird. Wir koppeln mehrere residuelle dichte Blöcke (Residual Dense Blocks, RDBs) und entfalten sie rekurrent über die Zeit. Die mehrfachen Rückkopplungsverbindungen zwischen zwei benachbarten Zeitschritten im vorgeschlagenen GMFN nutzen mehrere unter großen Rezeptorfeldern erfasste hochstufige Merkmale, um die niedrigstufigen Merkmale zu verfeinern, die nicht genügend kontextuelle Information besitzen. Das sorgfältig entwickelte Gated Feedback Modul (GFM) wählt effizient nützliche Informationen aus den mehrfach umgeleiteten hochstufigen Merkmalen aus und verstärkt diese weiter, bevor es die niedrigstufigen Merkmale mit der verstärkten hochstufigen Information verfeinert. Ausführliche Experimente zeigen die Überlegenheit unseres vorgeschlagenen GMFN gegenüber den neuesten SR-Methoden sowohl in quantitativen Metriken als auch in visueller Qualität. Der Quellcode ist unter https://github.com/liqilei/GMFN verfügbar.