Command Palette
Search for a command to run...
Résolution super-résolue en situation réelle par estimation du noyau et injection de bruit
{Feiyue Huang Jilin Li Chengjie Wang Ying Tai Yun Cao Xiaozhong Ji}
Résumé
Les méthodes récentes de pointe en super-résolution ont atteint des performances impressionnantes sur des jeux de données idéaux, indépendamment du flou et du bruit. Toutefois, ces méthodes échouent fréquemment dans le contexte de la super-résolution d’images réelles, car la plupart d’entre elles utilisent une interpolation bicubique simple à partir d’images de haute qualité pour construire des paires d’images à faible résolution (LR) et haute résolution (HR) lors de l’entraînement, ce qui peut entraîner une perte d’informations détaillées liées aux fréquences. Pour remédier à ce problème, nous proposons de concevoir un nouveau cadre de dégradation adapté aux images du monde réel, en estimant divers noyaux de flou ainsi que les distributions réelles de bruit. Grâce à ce cadre de dégradation innovant, nous pouvons générer des images à faible résolution partageant un même domaine avec les images du monde réel. Ensuite, nous introduisons un modèle de super-résolution dédié aux images réelles, visant une meilleure qualité perceptuelle. Des expériences étendues sur des données synthétiques bruitées ainsi que sur des images réelles démontrent que notre méthode surpasse les approches de pointe, offrant un niveau de bruit réduit et une qualité visuelle améliorée. En outre, notre méthode s’est imposée comme gagnante du défi NTIRE 2020 sur les deux catégories du concours de super-résolution dans le monde réel, surpassant nettement ses concurrents avec une marge significative.
Benchmarks
| Benchmark | Méthodologie | Métriques | 
|---|---|---|
| video-super-resolution-on-msu-super-1 | RealSR + uavs3e | BSQ-rate over ERQA: 1.943 BSQ-rate over LPIPS: 1.149 BSQ-rate over MS-SSIM: 1.441 BSQ-rate over PSNR: 14.741 BSQ-rate over Subjective Score: 0.639 BSQ-rate over VMAF: 2.253  | 
| video-super-resolution-on-msu-super-1 | RealSR + x265 | BSQ-rate over ERQA: 1.622 BSQ-rate over LPIPS: 1.206 BSQ-rate over MS-SSIM: 1.033 BSQ-rate over PSNR: 1.064 BSQ-rate over Subjective Score: 0.502 BSQ-rate over VMAF: 1.617  | 
| video-super-resolution-on-msu-super-1 | RealSR + vvenc | BSQ-rate over ERQA: 21.965 BSQ-rate over LPIPS: 18.344 BSQ-rate over MS-SSIM: 11.643 BSQ-rate over PSNR: 15.144 BSQ-rate over VMAF: 10.67  | 
| video-super-resolution-on-msu-super-1 | RealSR + x264 | BSQ-rate over ERQA: 0.77 BSQ-rate over LPIPS: 0.591 BSQ-rate over MS-SSIM: 0.487 BSQ-rate over PSNR: 0.675 BSQ-rate over Subjective Score: 0.196 BSQ-rate over VMAF: 0.775  | 
| video-super-resolution-on-msu-super-1 | RealSR + aomenc | BSQ-rate over ERQA: 6.762 BSQ-rate over LPIPS: 10.915 BSQ-rate over MS-SSIM: 5.463 BSQ-rate over PSNR: 15.144 BSQ-rate over Subjective Score: 0.843 BSQ-rate over VMAF: 4.283  | 
| video-super-resolution-on-msu-video-upscalers | RealSR | LPIPS: 0.220 PSNR: 30.64 SSIM: 0.900  | 
| video-super-resolution-on-msu-vsr-benchmark | RealSR | 1 - LPIPS: 0.911 ERQAv1.0: 0.69 FPS: 0.352 PSNR: 25.989 QRCRv1.0: 0 SSIM: 0.767 Subjective score: 5.286  | 
Construire l'IA avec l'IA
De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.