Überwindung der Grenze des lokalen Fensters: Fortgeschrittener Super-Resolution-Transformer mit adaptivem Token-Wörterbuch

Die Einzelbild-Super-Resolution ist ein klassisches Problem der Computer Vision, das darin besteht, hochauflösende (HR) Bilder aus niedrigauflösenden (LR) Bildern zu schätzen. Obwohl in den letzten Jahren erhebliche Fortschritte bei tiefen neuronalen Netzen (DNNs), insbesondere bei Transformers für die Super-Resolution, erzielt wurden, bestehen weiterhin Herausforderungen, vor allem aufgrund des begrenzten Rezeptivfelds, das durch windowbasierte Selbst-Attention verursacht wird. Um diese Probleme anzugehen, führen wir eine Gruppe von Hilfs-Adaptiven Token-Wörterbüchern für den SR-Transformer ein und stellen eine ATD-SR-Methode vor. Das eingeführte Token-Wörterbuch kann vorherige Informationen aus den Trainingsdaten lernen und diese gelernten Vorkenntnisse durch einen adaptiven Verbesserungsschritt an das jeweilige Testbild anpassen. Diese Verbesserungsstrategie liefert nicht nur globale Informationen für alle Eingabetokens, sondern gruppiert auch die Bilddaten in Kategorien. Auf Basis dieser Kategorisierung schlagen wir zudem eine kategoriengestützte Selbst-Attention-Mechanismus vor, der entfernte, aber ähnliche Tokens nutzt, um die Eingabefeatures zu verbessern. Die experimentellen Ergebnisse zeigen, dass unsere Methode auf verschiedenen Benchmarks für die Einzelbild-Super-Resolution die bestmögliche Leistung erzielt.