HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Omni-Kernel-Netzwerk für die Bildrekonstruktion

{Alois Knoll Wenqi Ren Yuning Cui}

Abstract

Die Bildrekonstruktion zielt darauf ab, ein hochwertiges Bild aus einer verschlechterten, niedrigqualitativen Beobachtung wiederherzustellen. In jüngster Zeit haben Transformer-Modelle auf Aufgaben der Bildrekonstruktion vielversprechende Leistungen erzielt, da sie über eine starke Fähigkeit zur Modellierung langreichweiten Abhängigkeiten verfügen. Allerdings ist ihre quadratisch wachsende Komplexität im Verhältnis zur Eingabegröße für praktische Anwendungen nicht tragbar. In diesem Artikel entwickeln wir ein effizientes convolutionales Netzwerk für die Bildrekonstruktion, indem wir die Mehrskalen-Repräsentationslernfähigkeit verbessern. Dazu schlagen wir ein Omni-Kernel-Modul vor, das aus drei Zweigen besteht: einem globalen, einem großen und einem lokalen Zweig, um effizient globale bis lokale Merkmalsrepräsentationen zu lernen. Insbesondere erreicht der globale Zweig durch die Dual-Domain-Kanal-Attention und die Frequenz-gate-Mechanismen einen globalen Wahrnehmungsfeld. Darüber hinaus wird der große Zweig zur Bereitstellung von mehrschaligen Wahrnehmungsfeldern durch unterschiedliche Formen von Tiefenwise-Convolutionen mit ungewöhnlich großen Kernelgrößen formuliert. Zudem ergänzen wir lokale Informationen mittels einer Punktweise-Tiefenwise-Convolution. Schließlich wird das vorgeschlagene Netzwerk, OKNet genannt, durch Einfügen des Omni-Kernel-Moduls in die Bottleneck-Position zur Effizienz realisiert. Umfangreiche Experimente zeigen, dass unser Netzwerk auf 11 Benchmark-Datensätzen für drei repräsentative Aufgaben der Bildrekonstruktion – einschließlich Bildentnebelung, Bildent-schneien und Bildunschärfenentfernung – die aktuell beste Leistung erzielt. Der Quellcode ist unter https://github.com/c-yn/OKNet verfügbar.

Benchmarks

BenchmarkMethodikMetriken
image-dehazing-on-sots-indoorOKNet
PSNR: 40.79
SSIM: 0.996
image-dehazing-on-sots-outdoorOKNet
PSNR: 37.68
SSIM: 0.995

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp