HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Dual-domain Strip Attention für die Bildrekonstruktion

{Alois Knoll Yuning Cui}

Abstract

Die Bildrekonstruktion zielt darauf ab, ein latentes hochwertiges Bild aus einer beeinträchtigten Beobachtung wiederherzustellen. In jüngster Zeit hat die Verwendung von Transformer die state-of-the-art-Leistung verschiedener Bildrekonstruktionsaufgaben erheblich vorangebracht, da sie über eine starke Fähigkeit zur Modellierung langreichweiten Abhängigkeiten verfügt. Allerdings behindert die quadratische Komplexität des Self-Attention- Mechanismus praktische Anwendungen. Darüber hinaus kann die ausreichende Nutzung der erheblichen Spektraldifferenz zwischen sauberen und beeinträchtigten Bildpaaren ebenfalls zur Verbesserung der Bildrekonstruktion beitragen. In diesem Artikel entwickeln wir einen dualen Domänen-Strip-Attention-Mechanismus für die Bildrekonstruktion, der die Repräsentationslernung durch die Kombination von räumlichen und frequenzbasierten Strip-Attention-Einheiten verbessert. Konkret erfasst die räumliche Strip-Attention-Einheit kontextuelle Informationen für jeden Pixel aus benachbarten Positionen in derselben Zeile oder Spalte unter Anleitung gelernter Gewichte mittels einer einfachen convolutionalen Verzweigung. Zusätzlich verfeinert die Frequenz-Strip-Attention-Einheit Merkmale im Spektralbereich durch Frequenztrennung und Modulation, wobei einfache Pooling-Techniken zur Umsetzung herangezogen werden. Darüber hinaus setzen wir unterschiedliche Strip-Größen ein, um die Mehrskalenlernfähigkeit zu stärken, was besonders vorteilhaft ist, um Beeinträchtigungen unterschiedlicher Größenordnungen zu bewältigen. Durch die Anwendung der dualen Domänen-Attention-Einheiten in verschiedenen Richtungen kann jeder Pixel implizit Informationen aus einem erweiterten Bereich wahrnehmen. Insgesamt erreicht das vorgeschlagene Dual-Domain-Strip-Attention-Netzwerk (DSANet) state-of-the-art-Leistungen auf 12 verschiedenen Datensätzen für vier Bildrekonstruktionsaufgaben, darunter Bildentnebelung, Bildentflockung, Bildentrauschung und Bildunschärfungsbeseitigung.

Benchmarks

BenchmarkMethodikMetriken
image-dehazing-on-sots-indoorDSANet
PSNR: 41.36
SSIM: 0.997
image-dehazing-on-sots-outdoorDSANet
PSNR: 38.39
SSIM: 0.995

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Dual-domain Strip Attention für die Bildrekonstruktion | Forschungsarbeiten | HyperAI