HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Revitalisierung der Faltungsnetzwerke für die Bildrekonstruktion

{Alois Knoll Xiaochun Cao Wenqi Ren Yuning Cui}

Abstract

Die Bildrekonstruktion zielt darauf ab, aus einer beschädigten Version eines Bildes ein hochwertiges Bild wiederherzustellen und spielt in vielen Anwendungsszenarien eine entscheidende Rolle. In den letzten Jahren hat sich der Ansatz der Bildrekonstruktion von herkömmlichen Faltungsneuralen Netzen (CNNs) hin zu Transformer-basierten Modellen gewandelt, da diese eine stärkere Fähigkeit zur Modellierung langreichweiter Pixel-Interaktionen besitzen. In diesem Artikel untersuchen wir das Potenzial von CNNs für die Bildrekonstruktion und zeigen, dass die vorgeschlagene einfache Faltungsnetzarchitektur, ConvIR genannt, die Leistung von Transformer-basierten Modellen gleichwertig oder sogar übertrifft. Durch eine erneute Analyse der Eigenschaften fortschrittlicher Bildrekonstruktionsalgorithmen identifizieren wir mehrere zentrale Faktoren, die zur Leistungssteigerung von Rekonstruktionsmodellen beitragen. Dies motiviert uns, ein neues Netzwerk für die Bildrekonstruktion auf Basis kostengünstiger Faltungsoperatoren zu entwickeln. Umfassende Experimente belegen, dass ConvIR auf 20 Benchmark-Datensätzen über fünf repräsentative Aufgaben der Bildrekonstruktion – einschließlich Bildentnebelung, Bildentunschärfung durch Bewegung oder Fokusabweichung, Bildentregen und Bildentschneefall – eine state-of-the-art-Leistung mit geringem Berechnungsaufwand erzielt.

Benchmarks

BenchmarkMethodikMetriken
deblurring-on-rsblurConvIR
Average PSNR: 34.06
image-deblurring-on-goproConvIR
PSNR: 33.28
SSIM: 0.963
image-dehazing-on-haze4kConvIR
PSNR: 34.50
SSIM: 0.99
image-dehazing-on-i-hazeConvIR
PSNR: 22.44
SSIM: 0.887
image-dehazing-on-o-hazeConvIR
PSNR: 25.36
SSIM: 0.780
image-dehazing-on-sots-indoorConvIR
PSNR: 42.72
SSIM: 0.997
image-dehazing-on-sots-outdoorConvIR
PSNR: 39.42
SSIM: 0.996

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Revitalisierung der Faltungsnetzwerke für die Bildrekonstruktion | Forschungsarbeiten | HyperAI