2ヶ月前

AWGNベースのデノイザーが実際のノイズに遭遇するとき

Yuqian Zhou; Jianbo Jiao; Haibin Huang; Yang Wang; Jue Wang; Honghui Shi; Thomas Huang
AWGNベースのデノイザーが実際のノイズに遭遇するとき
要約

差分学習に基づく画像ノイズ除去器は、加法白色ガウシアンノイズ(AWGN)などの合成ノイズに対して有望な性能を達成しています。これまでの多くの研究では、ピクセル間で独立した合成ノイズが採用されてきましたが、実際のノイズは主に空間的に/チャンネル間で相関があり、かつ空間的に/チャンネル間で変動します。このドメインギャップにより、モデルがAWGNのみで訓練された場合、実際のノイズを含む画像での性能が満足できない結果となります。本論文では、AWGNを中心とした合成ピクセル独立ノイズデータのみで訓練された実画像ノイズ除去器の性能を向上させる新しい手法を提案します。まず、AWGNとランダム値インパルスノイズ(RVIN)を混合して使用し、ノイズ推定器とノイズ除去器から構成される深層モデルを訓練します。次に、訓練済みモデルを実際のノイズに適応させるために、ピクセルシャッフルダウンサンプリング(PD)戦略について調査します。広範な実験により、提案手法の有効性と汎化能力が示されています。特に、DNDベンチマークにおいて、合成ノイズで訓練されたモデルの中で、私たちの手法は実sRGB画像に対して最先端の性能を達成しています。コードは https://github.com/yzhouas/PD-Denoising-pytorch から入手可能です。