一般化された低照度RAWノイズの合成とモデリングへ向けて

低照度RAWノイズのモデリングと合成は、計算写真技術および画像処理応用において根本的な課題である。近年の多くの研究では、物理ベースのモデルを用いてノイズを合成しているが、低照度条件下における信号に依存しないノイズははるかに複雑であり、カメラセンサによって著しく異なるため、これらのモデルでは十分に記述できない。この問題に対処するため、本研究では生成モデルを用いた新しい視点から信号に依存しないノイズの合成を提案する。具体的には、信号に依存するノイズと信号に依存しないノイズの両方を、それぞれ物理モデルと学習ベースのアプローチを組み合わせて合成する。このアプローチにより、本手法は汎用的なモデルとして捉えることができる。すなわち、異なるISOレベルにおけるさまざまなノイズ特性を同時に学習でき、複数のセンサに一般化可能である。さらに、ノイズ分布を高精度に区別できる有効なマルチスケールディスクリミネータとして「フーリエ変換型ディスクリミネータ（Fourier Transformer Discriminator: FTD）」を提案する。また、学習およびベンチマーク用として、新たな低照度RAWノイズ除去（Low-light Raw Denoising: LRD）データセットを構築した。定性的な評価結果から、本研究で提案するノイズモデルによって生成されたノイズは、実際のノイズと分布面で極めて類似していることが確認された。さらに、広範なノイズ除去実験の結果、異なるセンサ上で、最先端の手法と比較しても本手法が優れた性能を発揮することが示された。