"Zero-Shot" Super-Auflösung mit tiefem internen Lernen

Deep Learning hat in den letzten Jahren zu einem dramatischen Sprung in der Leistungsfähigkeit von Super-Resolution (SR) führen. Allerdings sind diese SR-Methoden, da sie überwacht werden, auf spezifische Trainingsdaten beschränkt, bei denen die Erzeugung der niedrigen Auflösung (LR)-Bilder aus ihren hochaufgelösten (HR)-Gegenstücken vorbestimmt ist (z.B. durch bikubische Verkleinerung), ohne ablenkende Artefakte (z.B. Sensorengeräusche, Bildkompression, nicht ideale PSF usw.). Reale LR-Bilder erfüllen jedoch selten diese Einschränkungen, was zu mangelhaften SR-Ergebnissen durch SotA (State of the Art)-Methoden führt. In dieser Arbeit stellen wir "Zero-Shot" SR vor, die die Stärke des Deep Learning nutzt, aber nicht auf vorheriges Training angewiesen ist. Wir nutzen die interne Wiederholung von Informationen innerhalb eines einzelnen Bildes und trainieren eine kleine bildspezifische CNN zur Testzeit, wobei die Beispiele ausschließlich aus dem Eingangsbild selbst extrahiert werden. Dadurch kann es sich an verschiedene Einstellungen pro Bild anpassen. Dies ermöglicht es, die Super-Resolution von realen alten Fotos, verrauschten Bildern, biologischen Daten und anderen Bildern durchzuführen, bei denen der Erfassungsprozess unbekannt oder nicht ideal ist. Bei solchen Bildern übertrifft unsere Methode sowohl SotA CNN-basierte SR-Methoden als auch frühere unüberwachte SR-Methoden. Nach bestem Wissen handelt es sich dabei um die erste unüberwachte CNN-basierte SR-Methode.