未処理画像の学習されたRAWノイズ除去

機械学習技術は、訓練に使用されるデータが評価に使用されるデータと類似している場合に最も効果的に機能します。これは、実際のカメラセンサの読み取り値に適用される単一画像ノイズ除去アルゴリズムにも当てはまりますが、実用的な制約により、しばしば合成画像データで訓練されます。一般的には、合成データから実際のデータへの一般化には画像センサのノイズ特性を慎重に考慮する必要があることが認識されていますが、カメラの画像処理パイプライン（ゲイン調整、色補正、トーンマッピングなど）の他の側面が大幅な影響を与えるにもかかわらず、しばしば見落とされています。これを解決するために、我々は画像処理パイプラインの各ステップを逆転させて「アンプロセス」を行う技術を提案します。これにより、一般的なインターネット上の写真から現実的な Raw センサ読み取り値を合成することが可能になります。さらに、損失関数を評価する際に画像処理パイプラインの関連コンポーネントをモデル化することで、ノイズ除去後のすべての関連する光度処理を認識した訓練を行うことができます。この方法でモデル出力と訓練データを処理し、「アンプロセス」することにより、シンプルな畳み込みニューラルネットワークを訓練できました。その結果、Darmstadt ノイズデータセットにおいて以前の最先端技術よりも 14%〜38% の誤差率低下と 9〜18 倍の高速化を達成し、またそのデータセット外のセンサにも一般化できるようになりました。