Omni-Kernel-Netzwerk für die Bildrekonstruktion

Die Bildrekonstruktion zielt darauf ab, ein hochwertiges Bild aus einer verschlechterten, niedrigqualitativen Beobachtung wiederherzustellen. In jüngster Zeit haben Transformer-Modelle auf Aufgaben der Bildrekonstruktion vielversprechende Leistungen erzielt, da sie über eine starke Fähigkeit zur Modellierung langreichweiten Abhängigkeiten verfügen. Allerdings ist ihre quadratisch wachsende Komplexität im Verhältnis zur Eingabegröße für praktische Anwendungen nicht tragbar. In diesem Artikel entwickeln wir ein effizientes convolutionales Netzwerk für die Bildrekonstruktion, indem wir die Mehrskalen-Repräsentationslernfähigkeit verbessern. Dazu schlagen wir ein Omni-Kernel-Modul vor, das aus drei Zweigen besteht: einem globalen, einem großen und einem lokalen Zweig, um effizient globale bis lokale Merkmalsrepräsentationen zu lernen. Insbesondere erreicht der globale Zweig durch die Dual-Domain-Kanal-Attention und die Frequenz-gate-Mechanismen einen globalen Wahrnehmungsfeld. Darüber hinaus wird der große Zweig zur Bereitstellung von mehrschaligen Wahrnehmungsfeldern durch unterschiedliche Formen von Tiefenwise-Convolutionen mit ungewöhnlich großen Kernelgrößen formuliert. Zudem ergänzen wir lokale Informationen mittels einer Punktweise-Tiefenwise-Convolution. Schließlich wird das vorgeschlagene Netzwerk, OKNet genannt, durch Einfügen des Omni-Kernel-Moduls in die Bottleneck-Position zur Effizienz realisiert. Umfangreiche Experimente zeigen, dass unser Netzwerk auf 11 Benchmark-Datensätzen für drei repräsentative Aufgaben der Bildrekonstruktion – einschließlich Bildentnebelung, Bildent-schneien und Bildunschärfenentfernung – die aktuell beste Leistung erzielt. Der Quellcode ist unter https://github.com/c-yn/OKNet verfügbar.