Bild-Super-Resolution durch neuronale Texturübertragung

Aufgrund der erheblichen Informationsverluste in niedrigen Auflösungen (LR) ist es äußerst schwierig, den Stand der Technik bei der Super-Resolution (SR) von einzelnen Bildern weiter zu verbessern. Referenz-basierte Super-Resolution (RefSR) hat jedoch gezeigt, dass sie vielversprechend ist, um hochauflösende (HR) Details wiederherzustellen, wenn ein Referenzbild (Ref) mit ähnlichen Inhalten wie das LR-Eingangsbild vorliegt. Die Qualität von RefSR kann jedoch stark abnehmen, wenn die Referenz weniger ähnlich ist. Dieses Papier zielt darauf ab, das Potenzial von RefSR durch die Nutzung von mehr Texturdetails aus Referenzbildern zu entfalten, wobei eine höhere Robustheit auch bei irrelevanten Ref-Bildern erreicht wird. Inspiriert durch die jüngsten Arbeiten zur Bildstilisierung formulieren wir das Problem der RefSR als neuronale Texturübertragung. Wir entwickeln ein end-to-end tiefes Modell, das HR-Details durch adaptive Übertragung der Textur aus Ref-Bildern nach deren texturaler Ähnlichkeit bereichert. Anstatt den Inhalt im rohen Pixelraum zu vergleichen, wie dies frühere Methoden getan haben, besteht unser wesentlicher Beitrag in einem mehrstufigen Vergleich im neuronalen Raum. Dieses Verfahren ermöglicht eine mehrskalige neurale Übertragung, die dem Modell ermöglicht, noch besser von semantisch verwandten Ref-Patches zu profitieren und sich bei den am wenigsten relevanten Ref-Eingaben elegant auf die Leistungsfähigkeit von SISR zurückzuführen. Wir erstellen einen Benchmark-Datensatz für allgemeine RefSR-Forschungen, der LR-Eingangsbilder mit Referenzbildern unterschiedlicher Ähnlichkeitsgrade enthält. Sowohl quantitative als auch qualitative Bewertungen zeigen die Überlegenheit unserer Methode gegenüber dem aktuellen Stand der Technik.