HyperAIHyperAI

Command Palette

Search for a command to run...

Auflösungsverbesserung von Bildern geringer Qualität unter Verwendung von Swin Transformer basierend auf einer Intervall-Dichten-Verbindungsstrategie

Rui-Yang Ju Chih-Chia Chen Jen-Shiun Chiang Yu-Shian Lin Wei-Han Chen Chun-Tse Chien

Zusammenfassung

Die transformerbasierte Methode hat im Vergleich zur Methode auf Basis von Faltungsneuronalen Netzen (CNNs) außergewöhnliche Leistungen bei der Bildauflösungsverbesserung gezeigt. Allerdings erfordert die Verwendung des Selbst-Aufmerksamkeitsmechanismus wie in SwinIR (Bildrestauration unter Verwendung des Swin-Transformers) eine beträchtliche Menge an Rechenressourcen, was seine Anwendung auf Plattformen mit geringer Rechenleistung einschränkt. Um die Wiederverwendung von Modellmerkmalen zu verbessern, schlägt diese Forschungsarbeit die Intervall-Dichte-Verbindungsstrategie vor, die verschiedene Blöcke nach einem neu entwickelten Algorithmus verbindet. Wir wenden diese Strategie auf SwinIR an und präsentieren ein neues Modell, das SwinOIR (Objektbildrestauration unter Verwendung des Swin-Transformers) genannt wird. Für die Bildauflösungsverbesserung wurde eine Ablationsstudie durchgeführt, um den positiven Einfluss der Intervall-Dichte-Verbindungsstrategie auf die Modelleistung zu demonstrieren. Darüber hinaus bewerten wir unser Modell anhand verschiedener gängiger Benchmark-Datensätze und vergleichen es mit anderen Lightweight-Modellen vom Stand der Technik (SOTA). Zum Beispiel erreicht SwinOIR eine PSNR von 26,62 dB für die x4 Auflösungsverbesserung auf dem Urban100-Datensatz, was 0,15 dB höher ist als das SOTA-Modell SwinIR. Für praktische Anwendungen wird in dieser Arbeit die neueste Version des You Only Look Once (YOLOv8)-Modells zusammen mit dem vorgeschlagenen Modell verwendet, um Objekterkennung und realistische Bildauflösungsverbesserung auf Bilder niedriger Qualität durchzuführen. Der Implementierungscode ist öffentlich verfügbar unter https://github.com/Rubbbbbbbbby/SwinOIR.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Auflösungsverbesserung von Bildern geringer Qualität unter Verwendung von Swin Transformer basierend auf einer Intervall-Dichten-Verbindungsstrategie | Paper | HyperAI