Auflösungsverbesserung von Bildern geringer Qualität unter Verwendung von Swin Transformer basierend auf einer Intervall-Dichten-Verbindungsstrategie

Die transformerbasierte Methode hat im Vergleich zur Methode auf Basis von Faltungsneuronalen Netzen (CNNs) außergewöhnliche Leistungen bei der Bildauflösungsverbesserung gezeigt. Allerdings erfordert die Verwendung des Selbst-Aufmerksamkeitsmechanismus wie in SwinIR (Bildrestauration unter Verwendung des Swin-Transformers) eine beträchtliche Menge an Rechenressourcen, was seine Anwendung auf Plattformen mit geringer Rechenleistung einschränkt. Um die Wiederverwendung von Modellmerkmalen zu verbessern, schlägt diese Forschungsarbeit die Intervall-Dichte-Verbindungsstrategie vor, die verschiedene Blöcke nach einem neu entwickelten Algorithmus verbindet. Wir wenden diese Strategie auf SwinIR an und präsentieren ein neues Modell, das SwinOIR (Objektbildrestauration unter Verwendung des Swin-Transformers) genannt wird. Für die Bildauflösungsverbesserung wurde eine Ablationsstudie durchgeführt, um den positiven Einfluss der Intervall-Dichte-Verbindungsstrategie auf die Modelleistung zu demonstrieren. Darüber hinaus bewerten wir unser Modell anhand verschiedener gängiger Benchmark-Datensätze und vergleichen es mit anderen Lightweight-Modellen vom Stand der Technik (SOTA). Zum Beispiel erreicht SwinOIR eine PSNR von 26,62 dB für die x4 Auflösungsverbesserung auf dem Urban100-Datensatz, was 0,15 dB höher ist als das SOTA-Modell SwinIR. Für praktische Anwendungen wird in dieser Arbeit die neueste Version des You Only Look Once (YOLOv8)-Modells zusammen mit dem vorgeschlagenen Modell verwendet, um Objekterkennung und realistische Bildauflösungsverbesserung auf Bilder niedriger Qualität durchzuführen. Der Implementierungscode ist öffentlich verfügbar unter https://github.com/Rubbbbbbbbby/SwinOIR.