Command Palette
Search for a command to run...
{Feiyue Huang Jilin Li Chengjie Wang Ying Tai Yun Cao Xiaozhong Ji}
要約
最近の最先端の超解像手法は、ブラーやノイズが存在しない理想的なデータセットにおいて、顕著な性能を達成している。しかし、これらの手法は実世界の画像超解像においては常に失敗する。その理由は、多くが高品質な画像から単純なバイキュービックダウンサンプリングを用いて低解像度(LR)と高解像度(HR)のペアを構築して学習を行うため、周波数関連の詳細情報が失われてしまうからである。この問題に対処するため、本研究では、さまざまなブラー核および実際のノイズ分布を推定することで、実世界の画像に適合した新しい劣化フレームワークの設計に注力した。本研究で提案する新しい劣化フレームワークに基づき、実世界の画像と同一のドメインに属するLR画像を取得することが可能となった。さらに、より優れた視覚的品質を実現することを目的として、実世界向けの超解像モデルを提案した。合成ノイズデータおよび実世界画像を用いた広範な実験により、本手法が最先端手法を上回ることを実証した。具体的には、ノイズが低減され、視覚的品質が顕著に向上している。さらに、本手法はNTIRE 2020における「実世界超解像」の2つのトレック(track)で優勝を果たしており、他の競合手法と比べて大幅に優れた性能を発揮した。
ベンチマーク
| ベンチマーク | 方法論 | 指標 | 
|---|---|---|
| video-super-resolution-on-msu-super-1 | RealSR + uavs3e | BSQ-rate over ERQA: 1.943 BSQ-rate over LPIPS: 1.149 BSQ-rate over MS-SSIM: 1.441 BSQ-rate over PSNR: 14.741 BSQ-rate over Subjective Score: 0.639 BSQ-rate over VMAF: 2.253  | 
| video-super-resolution-on-msu-super-1 | RealSR + x265 | BSQ-rate over ERQA: 1.622 BSQ-rate over LPIPS: 1.206 BSQ-rate over MS-SSIM: 1.033 BSQ-rate over PSNR: 1.064 BSQ-rate over Subjective Score: 0.502 BSQ-rate over VMAF: 1.617  | 
| video-super-resolution-on-msu-super-1 | RealSR + vvenc | BSQ-rate over ERQA: 21.965 BSQ-rate over LPIPS: 18.344 BSQ-rate over MS-SSIM: 11.643 BSQ-rate over PSNR: 15.144 BSQ-rate over VMAF: 10.67  | 
| video-super-resolution-on-msu-super-1 | RealSR + x264 | BSQ-rate over ERQA: 0.77 BSQ-rate over LPIPS: 0.591 BSQ-rate over MS-SSIM: 0.487 BSQ-rate over PSNR: 0.675 BSQ-rate over Subjective Score: 0.196 BSQ-rate over VMAF: 0.775  | 
| video-super-resolution-on-msu-super-1 | RealSR + aomenc | BSQ-rate over ERQA: 6.762 BSQ-rate over LPIPS: 10.915 BSQ-rate over MS-SSIM: 5.463 BSQ-rate over PSNR: 15.144 BSQ-rate over Subjective Score: 0.843 BSQ-rate over VMAF: 4.283  | 
| video-super-resolution-on-msu-video-upscalers | RealSR | LPIPS: 0.220 PSNR: 30.64 SSIM: 0.900  | 
| video-super-resolution-on-msu-vsr-benchmark | RealSR | 1 - LPIPS: 0.911 ERQAv1.0: 0.69 FPS: 0.352 PSNR: 25.989 QRCRv1.0: 0 SSIM: 0.767 Subjective score: 5.286  |