Infrarot-Bild-Super-Resolution mittels Transfer-Learning und PSRGAN

Neuere Fortschritte in der Einzelbild-Super-Resolution (SISR) demonstrieren die Stärke des tiefen Lernens bei der Erreichung verbesserter Leistungsergebnisse. Da die Neusammlung von Trainingsdaten und das erneute Trainieren des Modells für die Infrarot-(IR)-Bild-Super-Resolution kostenaufwendig ist, stellt die Verfügbarkeit nur weniger Trainingsbeispiele zur Restaurierung von IR-Bildern eine bedeutende Herausforderung in der SISR-Forschung dar. Um dieses Problem zu lösen, schlagen wir zunächst das progressive Super-Resolution-generierende adversarische Netzwerk (PSRGAN) vor, das eine Hauptpfad- und eine Seitengabelstruktur umfasst. In der Hauptpfad wird der Tiefenweise-Residual-Block (DWRB) zur Repräsentation der Merkmale des IR-Bildes eingesetzt. In der anderen Pfad wird der neuartige, flache und leichtgewichtige Distillation-Residual-Block (SLDRB) verwendet, um die Merkmale von leicht verfügbaren sichtbaren Bildern zu extrahieren. Darüber hinaus inspiriert durch Transfer-Learning, stellen wir eine mehrstufige Transfer-Learning-Strategie vor, die die Lücke zwischen unterschiedlichen hochdimensionalen Merkmalsräumen überbrücken und somit die Leistung des PSRGAN verbessern kann. Schließlich zeigen quantitative und qualitative Bewertungen an zwei öffentlichen Datensätzen, dass PSRGAN gegenüber bestehenden SR-Methoden bessere Ergebnisse erzielt.