HyperAIHyperAI

Command Palette

Search for a command to run...

Restormer: Effizienter Transformer für die Restauration hochaufgelöster Bilder

Zamir Syed Waqas ; Arora Aditya ; Khan Salman ; Hayat Munawar ; Khan Fahad Shahbaz ; Yang Ming-Hsuan

Zusammenfassung

Da Faltungsneuronale Netze (CNNs) gut darin sind, verallgemeinerbare Bildpriors aus umfangreichen Daten zu lernen, wurden diese Modelle intensiv auf Bildrestauration und verwandte Aufgaben angewendet. Kürzlich haben sich eine andere Klasse neuronaler Architekturen, die sogenannten Transformer, bei natürlicher Sprache und hochstufigen Visionssystemaufgaben als sehr leistungsfähig erwiesen. Während das Transformer-Modell die Nachteile von CNNs (d.h., begrenztes Rezeptivfeld und Unangepasstheit an den Eingehalt) mildert, wächst dessen rechnerische Komplexität quadratisch mit der räumlichen Auflösung, was es für die Anwendung auf die meisten Bildrestaurationsaufgaben mit hochauflösenden Bildern nicht praktikabel macht. In dieser Arbeit schlagen wir ein effizientes Transformer-Modell vor, indem wir mehrere zentrale Designentscheidungen in den Bausteinen (mehrköpfige Aufmerksamkeit und Feed-Forward-Netzwerk) treffen, sodass es langreichweitige Pixelinteraktionen erfassen kann und dennoch für große Bilder anwendbar bleibt. Unser Modell, das als Restaurationstransformer (Restormer) bezeichnet wird, erzielt Spitzenwerte bei mehreren Bildrestaurationsaufgaben, einschließlich Regenentfernung aus Bildern, Bewegungsunschärfeausgleich in Einzelbildern, Defokussunschärfeausgleich (Einzelbilder und Dual-Pixel-Daten) sowie Bildrauschenreduktion (Gaußsche Graustufen-/Farbrauschenreduktion und Rauschenreduktion in realen Bildern). Der Quellcode und die vortrainierten Modelle sind unter https://github.com/swz30/Restormer verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp