効率的な多段階動画ノイズ除去手法：再帰的空間時間融合を用いたアプローチ

近年、深層学習に基づくノイズ除去手法は、膨大な計算量を伴うものの、かつてない高い性能を達成している。本研究では、計算複雑性を大幅に低減しつつ、性能を維持あるいは向上させる効率的な多段階動画ノイズ除去アルゴリズム、EMVD（Efficient Multi-stage Video Denoising）を提案する。まず、融合段階では、動画内の過去のすべてのフレームを再帰的に組み合わせることでノイズを低減する。次に、ノイズ除去段階で融合されたフレーム内のノイズを除去する。最後に、修飾段階では、ノイズ除去後のフレームにおける高周波成分の欠損を回復する。各段階は、学習可能かつ可逆な線形演算子によって得られる変換領域表現上で処理が行われ、これによりモデルの精度を向上させるとともに、計算量とメモリ使用量を削減する。最終出力に対して一つの損失関数を用いるだけで十分な収束が実現可能であり、EMVDは学習が容易である。実際のRAWデータを用いた実験により、計算量が制限された条件下で、EMVDは最先端手法を上回ることを示した。さらに、複雑度が数オーダー高い手法に対しても、競争力を持つ性能を維持している。加えて、EMVDの低計算量および低メモリ要件により、モバイル端末の商用SoC上でリアルタイムな動画ノイズ除去が可能となる。