DualDn：微分可能ISPを用いた二重ドメインノイズ除去

画像のノイズ除去は、カメラの画像信号処理（Image Signal Processing; ISP）パイプラインにおける重要な構成要素である。ISPパイプラインにノイズ除去モジュールを組み込む代表的な手法は、2種類存在する。1つは、取得されたRAWフレームに直接ノイズ除去を適用する「RAW領域」での処理であり、もう1つはISPの出力であるsRGB画像に対してノイズ除去を行う「sRGB領域」での処理である。しかしながら、両者のアプローチにはそれぞれ限界がある。RAW領域でのノイズ除去では、残存ノイズがその後のISP処理によって増幅されるリスクがあり、一方sRGB領域では、空間的に変化するノイズの処理が困難である。これは、sRGB領域での処理がISPによって歪められたノイズしか観測できないためである。その結果、従来のRAWまたはsRGB領域でのノイズ除去手法は、特定のノイズ分布やISP設定にのみ有効であることが多くなっている。これらの課題に対処するため、本研究では、学習ベースの二重領域ノイズ除去手法「DualDn」を提案する。従来の単一領域ノイズ除去とは異なり、DualDnはRAW領域とsRGB領域の両方にそれぞれ独立したノイズ除去ネットワークを備えている。RAW領域のノイズ除去は、センサ固有のノイズや空間的に変化するノイズレベルに適応可能であり、sRGB領域のノイズ除去はISPの変動に柔軟に対応し、ISP処理によって増幅された残存ノイズを効果的に除去する。両方のノイズ除去ネットワークは、微分可能なISPと接続されており、エンドツーエンドで訓練された後、推論段階では破棄される。この設計により、DualDnは、異なる未観測のノイズ、ISPパラメータ、さらには新規のISPパイプラインに対しても適応可能な高い汎化能力を実現している。実験結果から、DualDnは現在の最先端技術を上回る性能を達成しており、さまざまなノイズ除去アーキテクチャにも適応可能であることが示された。さらに、DualDnは実カメラ環境において再訓練なしに即座にプラグアンドプレイとして利用可能であり、商用カメラ内蔵のノイズ除去処理よりも優れた性能を発揮することが確認された。本研究のプロジェクトウェブサイトは以下の通りである：https://openimaginglab.github.io/DualDn/