要約
本稿では、低照度条件下で撮影された原始的な動画に対して、学習ベースのノイズ除去手法を提案する。本手法は、まず畳み込みニューラルネットワーク（CNN）を用いて、隣接フレームを現在のフレームに対して明示的にアライメント（整合）する。その後、別のCNNを用いてアライメント済みのフレームを統合し、最終的なノイズ除去済みフレームを生成する。時系列的に離れたフレームを直接アライメントするのを避けるため、アライメントと統合のプロセスを複数段階に分けて実行する。具体的には、各段階で連続する3つの入力フレームに対してノイズ除去処理を行い、中間的なノイズ除去済みフレームを生成し、それを次の段階の入力として渡す。この多段階処理により、時系列的に離れたフレームの情報を直接アライメントせずに、効果的に隣接フレームの情報を活用できる。本手法の学習には、条件付きディスクリミネータを用いた敵対的損失（adversarial loss）を採用する。特に、ディスクリミネータにソフトな勾配マスクを条件として与えることで、滑らかな領域に高周波成分のアーティファクトが生じるのを抑制する。実験結果から、本手法が時間的に整合性があり、現実的な細部を有する動画を生成できることを示す。さらに、広範な実験を通じて、数値評価および視覚的評価の両面で、最先端の画像および動画ノイズ除去手法を上回ることを実証した。