SwinIR: Bildwiederherstellung mit Swin-Transformer

Die Bildrestauration ist ein langjähriges Problem der niedrigstufigen Bildverarbeitung, das darauf abzielt, hochwertige Bilder aus niedrigwertigen Bildern (z. B. verkleinerten, verrauschten und komprimierten Bildern) wiederherzustellen. Obwohl die derzeit besten Methoden der Bildrestauration auf Faltungsneuronalen Netzen basieren, wurden bisher nur wenige Versuche mit Transformers unternommen, die bei hochstufigen Visionssystemaufgaben beeindruckende Leistungen erzielen. In dieser Arbeit schlagen wir ein leistungsfähiges Basismodell namens SwinIR für die Bildrestauration vor, das auf dem Swin-Transformer basiert. SwinIR besteht aus drei Komponenten: flache Merkmalsextraktion, tiefe Merkmalsextraktion und Rekonstruktion von hochwertigen Bildern. Insbesondere besteht das Modul zur tiefen Merkmalsextraktion aus mehreren residuellen Swin-Transformer-Blöcken (RSTB), wobei jeder Block mehrere Swin-Transformer-Schichten sowie eine residuelle Verbindung enthält. Wir führen Experimente an drei repräsentativen Aufgaben durch: Bildsuperresolution (einschließlich klassischer, leichtgewichtiger und realweltlicher Bildsuperresolution), Bildentrauschung (einschließlich Graustufen- und Farbbildentrauschung) sowie Reduktion von JPEG-Kompressionsartefakten. Die experimentellen Ergebnisse zeigen, dass SwinIR bei verschiedenen Aufgaben die derzeit besten Methoden um bis zu 0,14~0,45 dB übertrifft, während die Gesamtanzahl der Parameter um bis zu 67 % reduziert werden kann.