Command Palette
Search for a command to run...
Super-Resolution in der Realität durch Kernel-Schätzung und Rausch-Injektion
{Feiyue Huang Jilin Li Chengjie Wang Ying Tai Yun Cao Xiaozhong Ji}
Abstract
Neueste State-of-the-Art-Methoden zur Super-Resolution haben beeindruckende Leistungen auf idealen Datensätzen erzielt, unabhängig von Unschärfe und Rauschen. Allerdings versagen diese Methoden häufig bei der Super-Resolution echter, realweltbezogener Bilder, da sie meist eine einfache Bicubic-Downsampling-Methode von hochwertigen Bildern verwenden, um Paare aus Niedrigauflösenden (LR) und Hochauflösenden (HR) Bildern für das Training zu generieren. Dieser Ansatz kann jedoch wichtige frequenzbasierte Details verlieren. Um dieses Problem zu lösen, konzentrieren wir uns auf die Entwicklung eines neuen Degradationsframeworks für reale Bilder, das verschiedene Unschärfekerne sowie reale Rauschverteilungen schätzt. Auf Basis dieses neuen Degradationsframeworks können wir LR-Bilder erzeugen, die denselben Domänencharakter wie echte reale Bilder aufweisen. Anschließend stellen wir ein Modell zur Super-Resolution für reale Weltbilder vor, das auf eine verbesserte Wahrnehmung abzielt. Umfangreiche Experimente sowohl auf synthetischem Rauschdaten als auch auf echten realweltbezogenen Bildern zeigen, dass unsere Methode die aktuellen State-of-the-Art-Methoden übertrifft und dabei weniger Rauschen sowie eine bessere visuelle Qualität erzielt. Zudem wurde unsere Methode als Siegerin der NTIRE 2020 Challenge in beiden Kategorien des Real-World Super-Resolution ausgezeichnet, wobei sie die Konkurrenz mit deutlichem Abstand schlägt.
Benchmarks
| Benchmark | Methodik | Metriken | 
|---|---|---|
| video-super-resolution-on-msu-super-1 | RealSR + uavs3e | BSQ-rate over ERQA: 1.943 BSQ-rate over LPIPS: 1.149 BSQ-rate over MS-SSIM: 1.441 BSQ-rate over PSNR: 14.741 BSQ-rate over Subjective Score: 0.639 BSQ-rate over VMAF: 2.253  | 
| video-super-resolution-on-msu-super-1 | RealSR + x265 | BSQ-rate over ERQA: 1.622 BSQ-rate over LPIPS: 1.206 BSQ-rate over MS-SSIM: 1.033 BSQ-rate over PSNR: 1.064 BSQ-rate over Subjective Score: 0.502 BSQ-rate over VMAF: 1.617  | 
| video-super-resolution-on-msu-super-1 | RealSR + vvenc | BSQ-rate over ERQA: 21.965 BSQ-rate over LPIPS: 18.344 BSQ-rate over MS-SSIM: 11.643 BSQ-rate over PSNR: 15.144 BSQ-rate over VMAF: 10.67  | 
| video-super-resolution-on-msu-super-1 | RealSR + x264 | BSQ-rate over ERQA: 0.77 BSQ-rate over LPIPS: 0.591 BSQ-rate over MS-SSIM: 0.487 BSQ-rate over PSNR: 0.675 BSQ-rate over Subjective Score: 0.196 BSQ-rate over VMAF: 0.775  | 
| video-super-resolution-on-msu-super-1 | RealSR + aomenc | BSQ-rate over ERQA: 6.762 BSQ-rate over LPIPS: 10.915 BSQ-rate over MS-SSIM: 5.463 BSQ-rate over PSNR: 15.144 BSQ-rate over Subjective Score: 0.843 BSQ-rate over VMAF: 4.283  | 
| video-super-resolution-on-msu-video-upscalers | RealSR | LPIPS: 0.220 PSNR: 30.64 SSIM: 0.900  | 
| video-super-resolution-on-msu-vsr-benchmark | RealSR | 1 - LPIPS: 0.911 ERQAv1.0: 0.69 FPS: 0.352 PSNR: 25.989 QRCRv1.0: 0 SSIM: 0.767 Subjective score: 5.286  | 
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.