要約
自然画像の非局所自己相似性は、様々な画像処理問題を解決するために広く活用されてきました。ビデオシーケンスにおいては、時間的な冗長性により、この特性を利用することがさらに有益です。画像およびビデオのノイズ除去の文脈では、多くの古典的なアルゴリズムが自己相似性を用いてデータを重複するパッチに分割し、類似したパッチ群を集めて何らかの方法で処理を行います。畳み込みニューラルネットワーク（CNN）の登場により、パッチベースのフレームワークは放棄されました。大多数のCNNノイズ除去器は全体の画像に対して動作し、大規模な受容野を使用することで非局所関係を暗黙的に活用しています。本研究では、ビデオノイズ除去の文脈で自己相似性を利用する新しい手法を提案します。これは通常の畳み込み構造に依存しつつ行うものです。私たちは「パッチクラフトフレーム」という概念を導入しました。これは実際のフレームと類似しており、マッチングしたパッチをタイル状に配置して作成されます。私たちのアルゴリズムは、ビデオシーケンスにパッチクラフトフレームを追加し、それらをCNNに入力します。提案手法によって得られるノイズ除去性能の大幅な向上を示しています。