ESRGAN: Verbesserte Super-Resolution Generative Adversarial Networks

Das Super-Resolution Generative Adversarial Network (SRGAN) ist eine wegweisende Arbeit, die es ermöglicht, realistische Texturen bei der Super-Resolution von einzelnen Bildern zu generieren. Allerdings sind die halluzinierten Details oft mit unangenehmen Artefakten verbunden. Um die visuelle Qualität weiter zu verbessern, untersuchen wir drei zentrale Komponenten des SRGAN – Netzwerkarchitektur, adversariales Verlustfunktion und perzeptive Verlustfunktion – gründlich und optimieren jede von ihnen, um ein Enhanced SRGAN (ESRGAN) abzuleiten. Insbesondere führen wir den Residual-in-Residual Dense Block (RRDB) ohne Batch-Normalisierung als grundlegendes Netzwerkelement ein. Darüber hinaus übernehmen wir das Konzept des relativistischen GANs, sodass der Diskriminator relative Realität statt absoluter Werte vorhersagt. Schließlich verbessern wir die perzeptive Verlustfunktion durch die Verwendung von Merkmalen vor der Aktivierung, was stärkere Überwachung für Helligkeitskonsistenz und Texturerholung ermöglicht. Dank dieser Verbesserungen erreicht das vorgeschlagene ESRGAN konsistent bessere visuelle Ergebnisse mit realistischeren und natürlicheren Texturen als SRGAN und belegte den ersten Platz im PIRM2018-SR Challenge. Der Quellcode ist unter https://github.com/xinntao/ESRGAN verfügbar.