SRFlow: Lernen des Super-Resolution-Raums mit Normalizing Flow

Super-Resolution ist ein schlecht gestelltes Problem, da für ein gegebenes Niedrigauflösungsbild mehrere mögliche Vorhersagen existieren. Diese grundlegende Eigenschaft wird von aktuellen tiefen Lernansätzen weitgehend ignoriert. Stattdessen trainieren diese Methoden eine deterministische Abbildung mithilfe von Kombinationen aus Rekonstruktions- und adversariellen Verlusten. In dieser Arbeit stellen wir daher SRFlow vor: eine auf Normalisierungsflüssen basierende Super-Resolution-Methode, die in der Lage ist, die bedingte Verteilung des Ausgangsbildes unter gegebenem Niedrigauflösungseingang zu lernen. Unser Modell wird auf eine konsistente Weise mit einem einzigen Verlust, nämlich der negativen Log-Likelihood, trainiert. SRFlow berücksichtigt somit direkt die schlechte Stellung des Problems und lernt, vielfältige, foto-realistische Hochauflösungsbilder vorherzusagen. Darüber hinaus nutzen wir die durch SRFlow gelernte starke Bild-Posterior, um flexible Bildmanipulationstechniken zu entwickeln, die beispielsweise die Verbesserung super-auflösender Bilder ermöglichen, indem Inhalte aus anderen Bildern übertragen werden. Wir führen umfangreiche Experimente an Gesichtern sowie allgemein zur Super-Resolution durch. SRFlow erreicht sowohl in Bezug auf PSNR- als auch auf perceptuelle Qualitätsmetriken eine bessere Leistung als aktuelle GAN-basierte Ansätze, während gleichzeitig durch die Exploration des Raums möglicher Super-Resolution-Lösungen Vielfalt ermöglicht wird.