CycleISP：改善されたデータ合成を用いたリアルな画像復元

大規模なデータセットの可用性により、深層畳み込みニューラルネットワーク（CNN）の真の潜在能力が発揮されるようになった。しかし、単一画像のノイズ除去問題において、実際のデータセットを収集することは、現実的に受け入れがたいほど高コストかつ手間のかかるプロセスである。その結果、画像ノイズ除去アルゴリズムの開発と評価は、主に加法性白色ガウスノイズ（AWGN）という広く採用された仮定に基づいて生成された合成データ上で行われている。近年のベンチマークデータセットの報告によると、CNNはこうした合成データセット上では優れた結果を達成するものの、実際のカメラ画像に適用した場合には性能が著しく低下する。その主な原因は、AWGNが実際のカメラノイズを適切にモデル化できていないことにある。実際のカメラノイズは信号依存性があり、カメラの画像処理パイプラインによって強く変換されるため、AWGNではその性質を十分に表現できない。本論文では、カメラ画像処理パイプラインを前向きおよび逆向きの両方向でモデル化するフレームワークを提案する。このフレームワークにより、RAW空間およびsRGB空間の両方で、任意の数の現実的な画像ペアを生成することが可能となる。現実的な合成データ上で新たな画像ノイズ除去ネットワークを訓練した結果、実カメラベンチマークデータセットにおいて最先端の性能を達成した。本モデルのパラメータ数は、RAW画像ノイズ除去において従来の最良手法よりも約5分の1にまで削減された。さらに、提案するフレームワークが画像ノイズ除去問題にとどまらず、ステレオスコピック映画におけるカラーマッチングなど、他の応用にも一般化可能であることを示した。ソースコードおよび事前学習済みモデルは、https://github.com/swz30/CycleISP にて公開されている。