Command Palette

Search for a command to run...

3ヶ月前

実世界における超解像度画像復元:カーネル推定とノイズ注入を用いた手法

{Feiyue Huang Jilin Li Chengjie Wang Ying Tai Yun Cao Xiaozhong Ji}

要約

最近の最先端の超解像手法は、ブラーやノイズが存在しない理想的なデータセットにおいて、顕著な性能を達成している。しかし、これらの手法は実世界の画像超解像においては常に失敗する。その理由は、多くが高品質な画像から単純なバイキュービックダウンサンプリングを用いて低解像度(LR)と高解像度(HR)のペアを構築して学習を行うため、周波数関連の詳細情報が失われてしまうからである。この問題に対処するため、本研究では、さまざまなブラー核および実際のノイズ分布を推定することで、実世界の画像に適合した新しい劣化フレームワークの設計に注力した。本研究で提案する新しい劣化フレームワークに基づき、実世界の画像と同一のドメインに属するLR画像を取得することが可能となった。さらに、より優れた視覚的品質を実現することを目的として、実世界向けの超解像モデルを提案した。合成ノイズデータおよび実世界画像を用いた広範な実験により、本手法が最先端手法を上回ることを実証した。具体的には、ノイズが低減され、視覚的品質が顕著に向上している。さらに、本手法はNTIRE 2020における「実世界超解像」の2つのトレック(track)で優勝を果たしており、他の競合手法と比べて大幅に優れた性能を発揮した。

ベンチマーク

ベンチマーク方法論指標
video-super-resolution-on-msu-super-1RealSR + uavs3e
BSQ-rate over ERQA: 1.943
BSQ-rate over LPIPS: 1.149
BSQ-rate over MS-SSIM: 1.441
BSQ-rate over PSNR: 14.741
BSQ-rate over Subjective Score: 0.639
BSQ-rate over VMAF: 2.253
video-super-resolution-on-msu-super-1RealSR + x265
BSQ-rate over ERQA: 1.622
BSQ-rate over LPIPS: 1.206
BSQ-rate over MS-SSIM: 1.033
BSQ-rate over PSNR: 1.064
BSQ-rate over Subjective Score: 0.502
BSQ-rate over VMAF: 1.617
video-super-resolution-on-msu-super-1RealSR + vvenc
BSQ-rate over ERQA: 21.965
BSQ-rate over LPIPS: 18.344
BSQ-rate over MS-SSIM: 11.643
BSQ-rate over PSNR: 15.144
BSQ-rate over VMAF: 10.67
video-super-resolution-on-msu-super-1RealSR + x264
BSQ-rate over ERQA: 0.77
BSQ-rate over LPIPS: 0.591
BSQ-rate over MS-SSIM: 0.487
BSQ-rate over PSNR: 0.675
BSQ-rate over Subjective Score: 0.196
BSQ-rate over VMAF: 0.775
video-super-resolution-on-msu-super-1RealSR + aomenc
BSQ-rate over ERQA: 6.762
BSQ-rate over LPIPS: 10.915
BSQ-rate over MS-SSIM: 5.463
BSQ-rate over PSNR: 15.144
BSQ-rate over Subjective Score: 0.843
BSQ-rate over VMAF: 4.283
video-super-resolution-on-msu-video-upscalersRealSR
LPIPS: 0.220
PSNR: 30.64
SSIM: 0.900
video-super-resolution-on-msu-vsr-benchmarkRealSR
1 - LPIPS: 0.911
ERQAv1.0: 0.69
FPS: 0.352
PSNR: 25.989
QRCRv1.0: 0
SSIM: 0.767
Subjective score: 5.286

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています