要約
現実世界の画像ノイズ除去は、コンピュータビジョン分野において長年にわたり取り組まれてきたが、依然として極めて困難な課題である。深層ニューラルネットワークがノイズ除去において高い成果を上げたことを受けて、より多くの「クリーン画像－ノイズ画像」ペアを合成することを目的としたノイズ生成に関する研究が注目されている。本研究では、ノイズ除去とノイズ生成の両タスクを同時に処理できる新たな統合枠組みを提案する。従来のMAP（最大後騒確率）フレームワークでは、観測されたノイズ画像を条件とした潜在的クリーン画像の事後分布のみを推定するが、本手法はクリーン画像とノイズ画像のペアの同時分布（joint distribution）を学習する。具体的には、この同時分布を2種類の異なる因数分解形で近似し、それぞれがノイズ画像をクリーン画像に変換するデノイザーと、クリーン画像をノイズ画像に変換する生成器として解釈できる。学習された同時分布は、ノイズ画像とクリーン画像の間のすべての情報を暗黙的に含んでおり、従来の手法のように手動で画像の事前知識やノイズ仮定を設計する必要がなくなる。さらに、学習された生成器を用いて元の学習データセットを拡張することで、デノイザーの性能をさらに向上させることができる。また、生成されたノイズ画像の品質を評価するための2つの新しい指標を提案する。本研究分野において、このような指標は初めて提案されたものである。広範な実験により、本手法が現実のノイズ除去およびノイズ生成の両タスクにおいて、従来の最先端手法を上回ることを示した。学習およびテスト用のコードは、https://github.com/zsyOAOA/DANet にて公開されている。