要約
動画ストリーミングは、ストレージおよびデバイスメモリのコストを削減するため、継続的に配信される。リアルタイムでのノイズ除去アルゴリズムは、動画の撮影および伝送過程で発生するノイズを除去するために、通常、ユーザデバイス上で採用される。しかし、スライディングウィンドウに基づく手法は、1つの出力に対して複数の入力フレームを処理するため、計算効率に欠ける。近年のマルチアウトプット推論手法は、並列または再帰的なフレームワークを用いて双方向時系列特徴を伝播するが、いずれも動画クリップの時系列エッジにおいて性能の低下を招くか、オンライン推論を実現できないという課題を抱えている。本論文では、過去および未来の時系列受容野を両方持つ高忠実度のリアルタイム動画ノイズ除去を実現するため、双方向ストリーミング動画ノイズ除去（Bidirectional Streaming Video Denoising; BSVD）フレームワークを提案する。オンライン推論における双方向時系列融合は、MoViNetでは適用可能でないとされているが、本研究ではパイプライン型推論において可能にするために、新規の双方向バッファブロック（Bidirectional Buffer Block）をBSVDの核心モジュールとして導入する。さらに、本手法は非盲目的および盲目的動画ノイズ除去の両方において、簡潔かつ柔軟に適用可能である。合成ノイズおよび実際のノイズデータを用いた定量的・定性的な比較において、本手法は従来の手法と比較して復元忠実度および実行時間の点で優れた性能を示した。本研究のソースコードは、https://github.com/ChenyangQiQi/BSVD にて公開されている。