Hierarchische bedingte Fluss: Ein einheitliches Framework für Bildsuperresolution und Bildvergrößerung

Normalizing Flows haben kürzlich vielversprechende Ergebnisse bei niedrigstufigenBildverarbeitungsaufgaben gezeigt. Bei der Bildsuperresolution (SR) lernt es, vielfältigefotorealistische Hochauflösungs-(HR)-Bilder aus den Niedrigauflösungs-(LR)-Bildernvorherzusagen, anstatt eine deterministische Abbildung zu lernen. Für die Bildskalierung erreicht es hohe Genauigkeit durch gleichzeitiges Modellieren der Verkleinerungs- und Vergrößerungsprozesse. Während bestehende Ansätze spezialisierte Techniken für diese beiden Aufgaben verwenden, streben wir an, sie in einer einheitlichen Formulierung zu vereinen. In dieser Arbeit schlagen wir das hierarchische bedingte Flow (HCFlow) als ein einheitliches Framework für Bild-SR und -Skalierung vor. Im Speziellen lernt HCFlow eine bijektive Abbildung zwischen HR- und LR-Bilderpaaren, indem es die Verteilung des LR-Bildes und der übrigen Hochfrequenzkomponente gleichzeitig modelliert. Insbesondere ist die Hochfrequenzkomponente in einer hierarchischen Weise vom LR-Bild abhängig. Um die Leistung weiter zu verbessern, werden andere Verlustfunktionen wie wahrnehmungsbezogener Verlust (perceptual loss) und GAN-Verlust (GAN loss) im Training mit dem häufig verwendeten negativen Log-Likelihood-Verlust kombiniert. Ausführliche Experimente zur allgemeinen Bild-SR, Gesichtsbild-SR und Bildskalierung haben gezeigt, dass das vorgeschlagene HCFlow sowohl hinsichtlich quantitativer Metriken als auch visueller Qualität den aktuellen Stand der Technik erreicht.