HyperAIHyperAI

Command Palette

Search for a command to run...

Referenzbasierte Bild-Super-Resolution mit deformierbarem Attention Transformer

Jiezhang Cao Jingyun Liang Kai Zhang Yawei Li Yulun Zhang* Wenguan Wang Luc Van Gool

Zusammenfassung

Referenzbasierte Bildauflösung (RefSR) zielt darauf ab, Hilfsreferenzbilder (Ref) zu nutzen, um Niedrigauflösungsbilder (LR) aufzulösen. Kürzlich hat RefSR große Aufmerksamkeit erhalten, da es eine alternative Möglichkeit bietet, die Einzelbild-Aufklärung (Single Image Super-Resolution, SISR) zu übertreffen. Dennoch birgt das Lösen des RefSR-Problems zwei wesentliche Herausforderungen: (i) Es ist schwierig, die Korrespondenz zwischen LR- und Ref-Bildern herzustellen, wenn diese erheblich voneinander abweichen; (ii) Die Übertragung der relevanten Textur von Ref-Bildern zur Ergänzung der Details in LR-Bildern stellt eine große Herausforderung dar. Um diese Probleme des RefSR zu lösen, schlägt dieser Artikel einen deformierbaren Attention-Transformer vor, den Deformable Attention Transformer for Super-Resolution (DATSR), mit mehreren Skalen. Jede Skala besteht aus einem Texturmerkmalsencoder-Modul (Texture Feature Encoder, TFE), einem referenzbasierten deformierbaren Attention-Modul (Reference-based Deformable Attention, RDA) und einem Residual-Merkmalsaggregationsmodul (Residual Feature Aggregation, RFA). Insbesondere extrahiert der TFE zunächst für Bildtransformationen (z.B. Helligkeit) unempfindliche Merkmale sowohl aus LR- als auch aus Ref-Bildern. Anschließend kann das RDA mehrere relevante Texturen nutzen, um zusätzliche Informationen für die LR-Merkmale zu ergänzen. Schließlich aggregiert das RFA die LR-Merkmale und die relevanten Texturen, um ein visuell ansprechenderes Ergebnis zu erzielen. Ausführliche Experimente zeigen quantitativ und qualitativ, dass unser DATSR auf Benchmark-Datensätzen den aktuellen Stand der Technik erreicht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Referenzbasierte Bild-Super-Resolution mit deformierbarem Attention Transformer | Paper | HyperAI