星の光の下で踊る：スターライトにおける動画ノイズ除去

低照度環境における画像取得は、光子数が極めて少ないため極めて困難である。現在、感度の高いCMOSカメラを用いることで、月明かり（照度：0.05～0.3 lux）下での夜間動画撮影が可能となっている。本論文では、月がなく、照度が0.001 lux未満の星明かり下で、初めて写実的な動画を撮影することに成功した。これを実現するため、極低照度におけるカメラノイズをより正確に表現できるように、GAN（生成対抗ネットワーク）で最適化された物理ベースのノイズモデルを開発した。このノイズモデルを基に、シミュレーションによるノイズ付き動画クリップと実測のノイズ付き静止画像を組み合わせて、動画ノイズ除去用のディノイジングモデルを学習した。また、有効な照明を用いずに、約0.6～0.7ミリルクスの極低照度条件下で、5～10 fpsの動きが顕著な動画データセットを取得した。他の手法と比較して、極低照度環境下でもより優れた動画品質を達成し、星明かり下での写実的な動画ノイズ除去を初めて実証した。