Command Palette

Search for a command to run...

3달 전

실세계 초해상도 구현을 위한 커널 추정 및 노이즈 주입

{Feiyue Huang Jilin Li Chengjie Wang Ying Tai Yun Cao Xiaozhong Ji}

초록

최근 최신 초해상도 기법들은 왜곡과 노이즈가 없는 이상적인 데이터셋에서 놀라운 성능을 달성하고 있으나, 실제 이미지 초해상도 처리에서는 항상 실패한다. 그 이유는 대부분의 기법들이 고품질 이미지에서 단순한 이중선형 보간(down-sampling)을 사용하여 저해상도(LR)와 고해상도(HR) 쌍을 구성하여 학습하기 때문이며, 이 과정에서 주파수 관련 세부 정보가 손실될 수 있다. 이러한 문제를 해결하기 위해, 우리는 다양한 블러 커널과 실제 노이즈 분포를 추정함으로써 실제 이미지에 적합한 새로운 품질 저하(degradation) 프레임워크를 설계하는 데 초점을 맞췄다. 제안한 새로운 품질 저하 프레임워크를 기반으로, 실제 이미지와 공통된 도메인을 공유하는 저해상도 이미지를 얻을 수 있다. 이를 바탕으로, 더 나은 시각적 인지(perception)를 목표로 하는 실제 환경 초해상도 모델을 제안한다. 합성 노이즈 데이터 및 실제 이미지에 대한 광범위한 실험을 통해 제안한 방법이 최신 기법들을 모두 능가함을 입증하였으며, 더 낮은 노이즈 수준과 향상된 시각적 품질을 제공한다. 또한, 본 방법은 NTIRE 2020 초해상도 챌린지의 실제 환경 초해상도 부문 두 가지 트랙에서 모두 우승을 차지하며, 다른 경쟁자들에 비해 크게 앞서는 성능을 보였다.

벤치마크

벤치마크방법론지표
video-super-resolution-on-msu-super-1RealSR + uavs3e
BSQ-rate over ERQA: 1.943
BSQ-rate over LPIPS: 1.149
BSQ-rate over MS-SSIM: 1.441
BSQ-rate over PSNR: 14.741
BSQ-rate over Subjective Score: 0.639
BSQ-rate over VMAF: 2.253
video-super-resolution-on-msu-super-1RealSR + x265
BSQ-rate over ERQA: 1.622
BSQ-rate over LPIPS: 1.206
BSQ-rate over MS-SSIM: 1.033
BSQ-rate over PSNR: 1.064
BSQ-rate over Subjective Score: 0.502
BSQ-rate over VMAF: 1.617
video-super-resolution-on-msu-super-1RealSR + vvenc
BSQ-rate over ERQA: 21.965
BSQ-rate over LPIPS: 18.344
BSQ-rate over MS-SSIM: 11.643
BSQ-rate over PSNR: 15.144
BSQ-rate over VMAF: 10.67
video-super-resolution-on-msu-super-1RealSR + x264
BSQ-rate over ERQA: 0.77
BSQ-rate over LPIPS: 0.591
BSQ-rate over MS-SSIM: 0.487
BSQ-rate over PSNR: 0.675
BSQ-rate over Subjective Score: 0.196
BSQ-rate over VMAF: 0.775
video-super-resolution-on-msu-super-1RealSR + aomenc
BSQ-rate over ERQA: 6.762
BSQ-rate over LPIPS: 10.915
BSQ-rate over MS-SSIM: 5.463
BSQ-rate over PSNR: 15.144
BSQ-rate over Subjective Score: 0.843
BSQ-rate over VMAF: 4.283
video-super-resolution-on-msu-video-upscalersRealSR
LPIPS: 0.220
PSNR: 30.64
SSIM: 0.900
video-super-resolution-on-msu-vsr-benchmarkRealSR
1 - LPIPS: 0.911
ERQAv1.0: 0.69
FPS: 0.352
PSNR: 25.989
QRCRv1.0: 0
SSIM: 0.767
Subjective score: 5.286

AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 공동 코딩, 즉시 사용 가능한 환경, 최적 가격 GPU로 AI 개발을 가속화하세요.

AI 공동 코딩
즉시 사용 가능한 GPU
최적 가격
시작하기

Hyper Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp
실세계 초해상도 구현을 위한 커널 추정 및 노이즈 주입 | 연구 논문 | HyperAI초신경