HyperAIHyperAI

Command Palette

Search for a command to run...

Untersuchung der frequenzinspirierten Optimierung im Transformer für eine effiziente Einzelbild-Überauflösung

Ao Li Le Zhang Yun Liu Ce Zhu

Zusammenfassung

Transformer-basierte Methoden haben bei der Einzelbild-Überauflösung (Single Image Super-Resolution, SISR) ein hohes Potenzial durch die effektive Erfassung von langreichweitigen Abhängigkeiten demonstriert. Allerdings haben die meisten aktuellen Forschungsarbeiten in diesem Bereich den Fokus auf die Gestaltung von Transformer-Blöcken zur Erfassung globaler Informationen gelegt, während die Bedeutung der Integration von Hochfrequenz-Priorisierungen vernachlässigt wurde, die wir für von Vorteil halten. In unserer Studie führten wir eine Reihe von Experimenten durch und stellten fest, dass Transformer-Strukturen besser geeignet sind, Niederfrequenzinformationen zu erfassen, jedoch im Vergleich zu konvolutionellen Ansätzen eine begrenzte Kapazität zur Konstruktion von Hochfrequenzdarstellungen aufweisen. Unser vorgeschlagener Ansatz, der cross-refinement adaptive feature modulation Transformer (CRAFT), vereint die Stärken beider Architekturen – konvolutioneller und Transformer-Strukturen. Er besteht aus drei zentralen Komponenten: dem High-Frequency Enhancement Residual Block (HFERB) zur Extraktion von Hochfrequenzinformationen, dem Shift Rectangle Window Attention Block (SRWAB) zur Erfassung globaler Informationen sowie dem Hybrid Fusion Block (HFB) zur Verfeinerung der globalen Darstellung. Um die inhärenten Schwierigkeiten von Transformer-Strukturen zu bewältigen, führen wir eine frequenzgeleitete Post-Training-Quantisierung (PTQ)-Methode ein, die darauf abzielt, die Effizienz von CRAFT zu verbessern. Diese Strategie integriert adaptive doppelte Clipping-Techniken und eine Verbesserung der Grenzverläufe. Um die Vielseitigkeit unseres Ansatzes weiter zu steigern, erweitern wir unsere PTQ-Strategie zu einer allgemeingültigen Quantisierungsmethode für transformerbasierte SISR-Verfahren. Unsere experimentellen Ergebnisse belegen die Überlegenheit von CRAFT gegenüber aktuellen state-of-the-art-Methoden – sowohl in voller Präzision als auch bei quantisierten Szenarien. Diese Ergebnisse unterstreichen die Wirksamkeit und Allgemeingültigkeit unserer PTQ-Strategie. Der Quellcode ist unter folgender Adresse verfügbar: https://github.com/AVC2-UESTC/Frequency-Inspired-Optimization-for-EfficientSR.git.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Untersuchung der frequenzinspirierten Optimierung im Transformer für eine effiziente Einzelbild-Überauflösung | Paper | HyperAI