HyperAIHyperAI

Command Palette

Search for a command to run...

Bildverarbeitung mit Multi-Code GAN-Prior

Jinjin Gu Yujun Shen Bolei Zhou

Zusammenfassung

Trotz des Erfolgs von Generativen Wettbewerbsnetzen (GANs) bei der Bildsynthese stellt die Anwendung trainierter GAN-Modelle auf reale Bildverarbeitung weiterhin eine Herausforderung dar. Frühere Methoden invertieren in der Regel ein Zielbild entweder durch Rückpropagation oder durch das Lernen eines zusätzlichen Encoders zurück in den latenten Raum. Die Rekonstruktionen beider Methoden sind jedoch weit davon entfernt, ideal zu sein. In dieser Arbeit schlagen wir einen neuen Ansatz vor, den wir mGANprior nennen, um gut trainierte GANs als effektive A-priori-Wissensquelle für verschiedene Bildverarbeitungsaufgaben zu integrieren. Insbesondere verwenden wir mehrere latente Codes, um mehrere Featuremaps in einer Zwischenschicht des Generators zu generieren und diese dann mit adaptiver Kanalwichtigkeit zu kombinieren, um das Eingangsbild wiederherzustellen. Eine solche Überparametrisierung des latenten Raums verbessert die Qualität der Bildrekonstruktion erheblich und übertrifft bestehende Konkurrenten. Die resultierende hochwertige Bildrekonstruktion ermöglicht es trainierten GAN-Modellen als A-priori-Wissensquelle in vielen realen Anwendungen eingesetzt zu werden, wie zum Beispiel der Bildfärbung, Super-Resolution, Bildinpainting und semantischer Manipulation. Wir analysieren ferner die Eigenschaften der schichtweisen Darstellung, die von GAN-Modellen gelernt wird, und werfen Licht darauf, welches Wissen jede Schicht darstellen kann.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp