HyperAIHyperAI

Command Palette

Search for a command to run...

vor 3 Monaten

Super-Resolution in der Realität durch Kernel-Schätzung und Rausch-Injektion

{Feiyue Huang Jilin Li Chengjie Wang Ying Tai Yun Cao Xiaozhong Ji}

Abstract

Neueste State-of-the-Art-Methoden zur Super-Resolution haben beeindruckende Leistungen auf idealen Datensätzen erzielt, unabhängig von Unschärfe und Rauschen. Allerdings versagen diese Methoden häufig bei der Super-Resolution echter, realweltbezogener Bilder, da sie meist eine einfache Bicubic-Downsampling-Methode von hochwertigen Bildern verwenden, um Paare aus Niedrigauflösenden (LR) und Hochauflösenden (HR) Bildern für das Training zu generieren. Dieser Ansatz kann jedoch wichtige frequenzbasierte Details verlieren. Um dieses Problem zu lösen, konzentrieren wir uns auf die Entwicklung eines neuen Degradationsframeworks für reale Bilder, das verschiedene Unschärfekerne sowie reale Rauschverteilungen schätzt. Auf Basis dieses neuen Degradationsframeworks können wir LR-Bilder erzeugen, die denselben Domänencharakter wie echte reale Bilder aufweisen. Anschließend stellen wir ein Modell zur Super-Resolution für reale Weltbilder vor, das auf eine verbesserte Wahrnehmung abzielt. Umfangreiche Experimente sowohl auf synthetischem Rauschdaten als auch auf echten realweltbezogenen Bildern zeigen, dass unsere Methode die aktuellen State-of-the-Art-Methoden übertrifft und dabei weniger Rauschen sowie eine bessere visuelle Qualität erzielt. Zudem wurde unsere Methode als Siegerin der NTIRE 2020 Challenge in beiden Kategorien des Real-World Super-Resolution ausgezeichnet, wobei sie die Konkurrenz mit deutlichem Abstand schlägt.

Benchmarks

BenchmarkMethodikMetriken
video-super-resolution-on-msu-super-1RealSR + uavs3e
BSQ-rate over ERQA: 1.943
BSQ-rate over LPIPS: 1.149
BSQ-rate over MS-SSIM: 1.441
BSQ-rate over PSNR: 14.741
BSQ-rate over Subjective Score: 0.639
BSQ-rate over VMAF: 2.253
video-super-resolution-on-msu-super-1RealSR + x265
BSQ-rate over ERQA: 1.622
BSQ-rate over LPIPS: 1.206
BSQ-rate over MS-SSIM: 1.033
BSQ-rate over PSNR: 1.064
BSQ-rate over Subjective Score: 0.502
BSQ-rate over VMAF: 1.617
video-super-resolution-on-msu-super-1RealSR + vvenc
BSQ-rate over ERQA: 21.965
BSQ-rate over LPIPS: 18.344
BSQ-rate over MS-SSIM: 11.643
BSQ-rate over PSNR: 15.144
BSQ-rate over VMAF: 10.67
video-super-resolution-on-msu-super-1RealSR + x264
BSQ-rate over ERQA: 0.77
BSQ-rate over LPIPS: 0.591
BSQ-rate over MS-SSIM: 0.487
BSQ-rate over PSNR: 0.675
BSQ-rate over Subjective Score: 0.196
BSQ-rate over VMAF: 0.775
video-super-resolution-on-msu-super-1RealSR + aomenc
BSQ-rate over ERQA: 6.762
BSQ-rate over LPIPS: 10.915
BSQ-rate over MS-SSIM: 5.463
BSQ-rate over PSNR: 15.144
BSQ-rate over Subjective Score: 0.843
BSQ-rate over VMAF: 4.283
video-super-resolution-on-msu-video-upscalersRealSR
LPIPS: 0.220
PSNR: 30.64
SSIM: 0.900
video-super-resolution-on-msu-vsr-benchmarkRealSR
1 - LPIPS: 0.911
ERQAv1.0: 0.69
FPS: 0.352
PSNR: 25.989
QRCRv1.0: 0
SSIM: 0.767
Subjective score: 5.286

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Super-Resolution in der Realität durch Kernel-Schätzung und Rausch-Injektion | Forschungsarbeiten | HyperAI