ピクセルレベルのノイズ感知型対抗学習を用いた現実的なノイズ付き画像の生成手法の学習

既存のディープラーニングを用いたリアルノイズ除去手法は、大量のノイズあり／ノイズなし画像ペアを用いた教師付き学習を必要とする。しかし、実際のノイズあり／ノイズなしデータセットを収集することは、極めて高コストかつ手間のかかるプロセスである。この問題を軽減するために、本研究では現実的なノイズ画像を生成する手法について検討する。まず、各実際のノイズありピクセルを確率変数として扱うシンプルでありながら合理的なノイズモデルを定式化する。このモデルにより、ノイズ画像の生成問題を「画像領域のアライメント」と「ノイズ領域のアライメント」という二つの部分問題に分解する。次に、ピクセルレベルのノイズ認識型生成対抗ネットワーク（Pixel-level Noise-aware Generative Adversarial Network, PNGAN）と呼ばれる新たなフレームワークを提案する。PNGANは、事前に学習されたリアルノイズ除去モデルを用いて、偽のノイズ画像と実際のノイズ画像をほぼノイズのない解空間に写像することで、画像領域のアライメントを実現する。同時に、ピクセルレベルの対抗学習を導入してノイズ領域のアライメントを達成する。さらに、より優れたノイズ適合性を実現するため、生成器として効率的なアーキテクチャであるシンプルマルチスケールネットワーク（Simple Multi-scale Network, SMNet）を提案する。定性的な検証結果から、PNGANによって生成されたノイズは、強度および分布の観点で実際のノイズと極めて類似していることが示された。定量的な実験においても、生成されたノイズ画像を用いて訓練された一連のノイズ除去モデルが、4つの実際のノイズ除去ベンチマークにおいて最先端（SOTA）の性能を達成した。コードの一部、事前学習済みモデル、および実験結果は、https://github.com/caiyuanhao1998/PNGAN にて公開されており、比較用に利用可能である。