PI-REC: Progressives Bildrekonstruktionsnetzwerk mit Kanten- und Farbdomäne

Wir schlagen eine universelle Bildrekonstruktionsmethode vor, die detaillierte Bilder ausschließlich aus binären dünnen Kanten und flachen Farbbereichen darstellt. Inspiriert von Malverfahren besteht unser Framework, das auf einem generativen adversären Netzwerk basiert, aus drei Phasen: Die Imitationsphase zielt darauf ab, die Netze zu initialisieren, gefolgt von der Generierungsphase zur Rekonstruktion von Vorläufigen Bildern. Darüber hinaus wird die Verfeinerungsphase verwendet, um die Vorläufigen Bilder in endgültige Ausgaben mit Details zu optimieren. Dieses Framework ermöglicht es unserem Modell, reichhaltige Hochfrequenzdetails aus dünnen Eingabedaten zu generieren. Wir untersuchen auch die Mängel der impliziten Trennung des Stil-Latentraums aus Bildern und zeigen, dass der explizite Farbbereich in unserem Modell bei Steuerbarkeit und Interpretierbarkeit bessere Ergebnisse erzielt. In unseren Experimenten erreichen wir herausragende Resultate bei der Rekonstruktion realistischer Bilder und der Übersetzung von handskizzierten Entwürfen in zufriedenstellende Gemälde. Zudem übertrifft unser Modell PI-REC im Bereich der Kanten-zu-Bild-Übersetzung bestehende state-of-the-art-Methoden sowohl quantitativ als auch qualitativ in Bezug auf Realismus und Genauigkeit.