8日前

明示的キャリブレーションを暗黙化する:ノイズモデルの代わりにノイズ除去器をキャリブレーションする

Xin Jin, Jia-Wen Xiao, Ling-Hao Han, Chunle Guo, Xialei Liu, Chongyi Li, Ming-Ming Cheng
明示的キャリブレーションを暗黙化する:ノイズモデルの代わりにノイズ除去器をキャリブレーションする
要約

極端に暗い環境下におけるRAW画像のノイズ除去において、明示的なキャリブレーションを用いる手法が主流を占めてきた。しかしながら、こうした手法には以下の3つの重要な制約がある。a) 明示的なキャリブレーションプロセスは人手と時間がかかる、b) 異なるカメラモデル間でのノイズ除去器の移行が困難である、c) デジタルゲインの影響により、合成ノイズと実際のノイズとの乖離が顕著になる。これらの課題を解決するため、本研究では「Lighting Every Darkness(LED)」と名付けた画期的なパイプラインを提案する。LEDはデジタルゲインやカメラセンサーの種類にかかわらず有効であり、明示的なノイズモデルのキャリブレーションを不要とする。代わりに、迅速な展開が可能で最小限のデータ量で済む暗黙的ファインチューニングプロセスを採用している。また、追加の計算負荷を要せずに、合成ノイズと実際のノイズの乖離を低減するための構造的改良も導入している。本手法は、公開データセットに含まれていない新しいカメラモデルを含む多様な機種において、従来手法を上回る性能を発揮する。また、デジタルゲインごとに数対のデータと、通常の反復回数の0.5%程度の計算量で十分な結果が得られる。さらに、LEDは研究者が深層学習の進展に注力しつつも、センサーエンジニアリングの利点を活用できるように支援する。コードおよび関連資料は、https://srameo.github.io/projects/led-iccv23/ にて公開されている。