Command Palette
Search for a command to run...
{Feiyue Huang Jilin Li Chengjie Wang Ying Tai Yun Cao Xiaozhong Ji}
초록
최근 최신 초해상도 기법들은 왜곡과 노이즈가 없는 이상적인 데이터셋에서 놀라운 성능을 달성하고 있으나, 실제 이미지 초해상도 처리에서는 항상 실패한다. 그 이유는 대부분의 기법들이 고품질 이미지에서 단순한 이중선형 보간(down-sampling)을 사용하여 저해상도(LR)와 고해상도(HR) 쌍을 구성하여 학습하기 때문이며, 이 과정에서 주파수 관련 세부 정보가 손실될 수 있다. 이러한 문제를 해결하기 위해, 우리는 다양한 블러 커널과 실제 노이즈 분포를 추정함으로써 실제 이미지에 적합한 새로운 품질 저하(degradation) 프레임워크를 설계하는 데 초점을 맞췄다. 제안한 새로운 품질 저하 프레임워크를 기반으로, 실제 이미지와 공통된 도메인을 공유하는 저해상도 이미지를 얻을 수 있다. 이를 바탕으로, 더 나은 시각적 인지(perception)를 목표로 하는 실제 환경 초해상도 모델을 제안한다. 합성 노이즈 데이터 및 실제 이미지에 대한 광범위한 실험을 통해 제안한 방법이 최신 기법들을 모두 능가함을 입증하였으며, 더 낮은 노이즈 수준과 향상된 시각적 품질을 제공한다. 또한, 본 방법은 NTIRE 2020 초해상도 챌린지의 실제 환경 초해상도 부문 두 가지 트랙에서 모두 우승을 차지하며, 다른 경쟁자들에 비해 크게 앞서는 성능을 보였다.
벤치마크
| 벤치마크 | 방법론 | 지표 | 
|---|---|---|
| video-super-resolution-on-msu-super-1 | RealSR + uavs3e | BSQ-rate over ERQA: 1.943 BSQ-rate over LPIPS: 1.149 BSQ-rate over MS-SSIM: 1.441 BSQ-rate over PSNR: 14.741 BSQ-rate over Subjective Score: 0.639 BSQ-rate over VMAF: 2.253  | 
| video-super-resolution-on-msu-super-1 | RealSR + x265 | BSQ-rate over ERQA: 1.622 BSQ-rate over LPIPS: 1.206 BSQ-rate over MS-SSIM: 1.033 BSQ-rate over PSNR: 1.064 BSQ-rate over Subjective Score: 0.502 BSQ-rate over VMAF: 1.617  | 
| video-super-resolution-on-msu-super-1 | RealSR + vvenc | BSQ-rate over ERQA: 21.965 BSQ-rate over LPIPS: 18.344 BSQ-rate over MS-SSIM: 11.643 BSQ-rate over PSNR: 15.144 BSQ-rate over VMAF: 10.67  | 
| video-super-resolution-on-msu-super-1 | RealSR + x264 | BSQ-rate over ERQA: 0.77 BSQ-rate over LPIPS: 0.591 BSQ-rate over MS-SSIM: 0.487 BSQ-rate over PSNR: 0.675 BSQ-rate over Subjective Score: 0.196 BSQ-rate over VMAF: 0.775  | 
| video-super-resolution-on-msu-super-1 | RealSR + aomenc | BSQ-rate over ERQA: 6.762 BSQ-rate over LPIPS: 10.915 BSQ-rate over MS-SSIM: 5.463 BSQ-rate over PSNR: 15.144 BSQ-rate over Subjective Score: 0.843 BSQ-rate over VMAF: 4.283  | 
| video-super-resolution-on-msu-video-upscalers | RealSR | LPIPS: 0.220 PSNR: 30.64 SSIM: 0.900  | 
| video-super-resolution-on-msu-vsr-benchmark | RealSR | 1 - LPIPS: 0.911 ERQAv1.0: 0.69 FPS: 0.352 PSNR: 25.989 QRCRv1.0: 0 SSIM: 0.767 Subjective score: 5.286  |