Bildverarbeitung mit Multi-Code GAN-Prior

Trotz des Erfolgs von Generativen Wettbewerbsnetzen (GANs) bei der Bildsynthese stellt die Anwendung trainierter GAN-Modelle auf reale Bildverarbeitung weiterhin eine Herausforderung dar. Frühere Methoden invertieren in der Regel ein Zielbild entweder durch Rückpropagation oder durch das Lernen eines zusätzlichen Encoders zurück in den latenten Raum. Die Rekonstruktionen beider Methoden sind jedoch weit davon entfernt, ideal zu sein. In dieser Arbeit schlagen wir einen neuen Ansatz vor, den wir mGANprior nennen, um gut trainierte GANs als effektive A-priori-Wissensquelle für verschiedene Bildverarbeitungsaufgaben zu integrieren. Insbesondere verwenden wir mehrere latente Codes, um mehrere Featuremaps in einer Zwischenschicht des Generators zu generieren und diese dann mit adaptiver Kanalwichtigkeit zu kombinieren, um das Eingangsbild wiederherzustellen. Eine solche Überparametrisierung des latenten Raums verbessert die Qualität der Bildrekonstruktion erheblich und übertrifft bestehende Konkurrenten. Die resultierende hochwertige Bildrekonstruktion ermöglicht es trainierten GAN-Modellen als A-priori-Wissensquelle in vielen realen Anwendungen eingesetzt zu werden, wie zum Beispiel der Bildfärbung, Super-Resolution, Bildinpainting und semantischer Manipulation. Wir analysieren ferner die Eigenschaften der schichtweisen Darstellung, die von GAN-Modellen gelernt wird, und werfen Licht darauf, welches Wissen jede Schicht darstellen kann.