KBNet: Kernel Basis Network für Bildrestauration

Die Aggregation räumlicher Informationen spielt eine wesentliche Rolle bei lernbasierten Bildrestaurationen. Die meisten existierenden CNN-basierten Netze verwenden statische Faltungskerne zur Kodierung von räumlichen Informationen, was eine adaptive Aggregation dieser Informationen nicht ermöglicht. Kürzlich entwickelte Transformer-basierte Architekturen erreichen eine adaptive räumliche Aggregation. Allerdings fehlen ihnen die wünschenswerten induktiven Verzerrungen der Faltungen und sie erfordern hohe Rechenkosten. In diesem Artikel schlagen wir ein Modul für Kernbasis-Attention (KBA) vor, das lernfähige Kernbasen einführt, um repräsentative Bildmuster für die Aggregation von räumlichen Informationen zu modellieren. Verschiedene Kernbasen werden trainiert, um verschiedene lokale Strukturen zu modellieren. An jedem räumlichen Standort werden sie durch vorhergesagte pixelweise Koeffizienten linear und adaptiv zusammengeführt, um Aggregationsgewichte zu erhalten. Auf Basis des KBA-Moduls entwerfen wir zudem einen Multi-Achsen-Feature-Fusion-Block (MFF), um kanalweise, translationsinvariante und pixeladaptive Merkmale für die Bildrestauration zu kodieren und zu fusionieren. Unser Modell, das als Kernel Basis Network (KBNet) bezeichnet wird, erzielt auf mehr als zehn Benchmarks in den Aufgaben der Bildrauscherkennung, Entfernung von Regenartefakten und Entverunschärfung bessere Ergebnisse als der aktuelle State-of-the-Art, während es gleichzeitig geringere Rechenkosten verursacht als frühere Top-Methoden.