Verbesserung der Bildrestauration durch erneute Betrachtung der globalen Informationsaggregation

Globale Operationen, wie das globale Durchschnittspooling, werden häufig inhochleistungsfähigen Bildrestaurierungssystemen eingesetzt. Sie aggregieren globale Informationen aus Eingabemerkmalen über die gesamten räumlichen Dimensionen, verhalten sich aber unterschiedlich während des Trainings und der Inferenz bei Bildrestaurierungsaufgaben: Sie basieren auf verschiedenen Regionen, nämlich auf zugeschnittenen Ausschnitten (aus Bildern) und auf vollständig hochaufgelösten Bildern. In dieser Arbeit wird die Aggregation von globalen Informationen neu betrachtet, und es wird festgestellt, dass die bildbasierten Merkmale während der Inferenz eine andere Verteilung als die patchbasierten Merkmale während des Trainings haben. Diese Inkonsistenz zwischen Training und Test beeinträchtigt negativ die Leistung von Modellen und wurde bisher stark vernachlässigt. Um diese Inkonsistenz zu reduzieren und die Leistung bei der Inferenz zu verbessern, schlagen wir eine einfache Methode vor, die als Testzeit-Lokal-Konverter (Test-time Local Converter, TLC) bezeichnet wird. Unser TLC konvertiert globale Operationen nur während der Inferenz in lokale, sodass sie Merkmale innerhalb lokaler räumlicher Regionen statt über das gesamte große Bild aggregieren. Die vorgeschlagene Methode kann auf verschiedene globale Module (z.B. Normalisierung, Kanal- und räumliche Aufmerksamkeit) mit vernachlässigbaren Kosten angewendet werden. Ohne jegliche Feinabstimmung verbessert TLC den Stand der Technik in mehreren Bildrestaurierungsaufgaben, darunter Bewegungsunschärfeentfernung aus einzelnen Bildern, Videobearbeitung zur Entfernung von Unschärfe, Defokusunschärfeentfernung und Rauschreduzierung in Bildern. Insbesondere erhöht TLC das Ergebnis unseres Restormer-Local bei der Entfernung von Bewegungsunschärfe aus einzelnen Bildern vom aktuellen Stand der Technik von 32,92 dB auf 33,57 dB im GoPro-Datensatz. Der Code ist unterhttps://github.com/megvii-research/tlc verfügbar.