8日前

Few-Shot ドメイン適応による低照度 RAW 画像のEnhancement

K. Ram Prabhakar, Vishal Vinod, Nihar Ranjan Sahoo, R. Venkatesh Babu
Few-Shot ドメイン適応による低照度 RAW 画像のEnhancement
要約

極端な低照度環境下における実用的な低照度RAW画像の品質向上は、短い露光時間と限られた照明条件により生じる著しいノイズおよび色歪みのため、困難な課題である。既存の畳み込みニューラルネットワーク(CNN)ベースの手法は一定の成果を上げているものの、異なるカメラドメインに適応する性能に乏しく、また各ドメインごとに短露光時間画像とその対応する長露光時間の真値RAW画像を含む大規模なデータセットが必要となるため、データの収集・整備が非常に手間である。この問題に対処するため、本研究では、ターゲットカメラドメインからの少数のラベル付きサンプル(少量のラベル付きデータ)を用いて、既存のソースカメラのラベル付きデータを活用し、ターゲットドメインにおける極端な低照度画像の品質向上を実現する新たな少サンプルドメイン適応手法を提案する。実験の結果、ターゲットカメラドメインからわずか10枚以下のラベル付きサンプルを用いるだけで、大規模なラベル付きターゲットデータセットでモデルを学習した場合と同等あるいはそれ以上の画像増強性能を達成できることが示された。本研究の促進を目的として、ニコンカメラで撮影された新しい低照度RAW画像データセットも公開する。このデータセットは、短露光時間画像とその対応する長露光時間の真値画像を含んでおり、今後の研究に貢献することが期待される。