Referenzbasierte Bild-Super-Resolution mit deformierbarem Attention Transformer

Referenzbasierte Bildauflösung (RefSR) zielt darauf ab, Hilfsreferenzbilder (Ref) zu nutzen, um Niedrigauflösungsbilder (LR) aufzulösen. Kürzlich hat RefSR große Aufmerksamkeit erhalten, da es eine alternative Möglichkeit bietet, die Einzelbild-Aufklärung (Single Image Super-Resolution, SISR) zu übertreffen. Dennoch birgt das Lösen des RefSR-Problems zwei wesentliche Herausforderungen: (i) Es ist schwierig, die Korrespondenz zwischen LR- und Ref-Bildern herzustellen, wenn diese erheblich voneinander abweichen; (ii) Die Übertragung der relevanten Textur von Ref-Bildern zur Ergänzung der Details in LR-Bildern stellt eine große Herausforderung dar. Um diese Probleme des RefSR zu lösen, schlägt dieser Artikel einen deformierbaren Attention-Transformer vor, den Deformable Attention Transformer for Super-Resolution (DATSR), mit mehreren Skalen. Jede Skala besteht aus einem Texturmerkmalsencoder-Modul (Texture Feature Encoder, TFE), einem referenzbasierten deformierbaren Attention-Modul (Reference-based Deformable Attention, RDA) und einem Residual-Merkmalsaggregationsmodul (Residual Feature Aggregation, RFA). Insbesondere extrahiert der TFE zunächst für Bildtransformationen (z.B. Helligkeit) unempfindliche Merkmale sowohl aus LR- als auch aus Ref-Bildern. Anschließend kann das RDA mehrere relevante Texturen nutzen, um zusätzliche Informationen für die LR-Merkmale zu ergänzen. Schließlich aggregiert das RFA die LR-Merkmale und die relevanten Texturen, um ein visuell ansprechenderes Ergebnis zu erzielen. Ausführliche Experimente zeigen quantitativ und qualitativ, dass unser DATSR auf Benchmark-Datensätzen den aktuellen Stand der Technik erreicht.