要約
多くの古典的な手法が、自然画像における非局所自己相似性を画像修復の効果的な事前情報として示しています。しかし、この内在的な特性を深層ネットワークを通じて利用することは、依然として明確ではなく困難な課題となっています。本論文では、画像修復のために再帰型ニューラルネットワーク（RNN）に非局所操作を取り入れる最初の試みとして、非局所再帰型ネットワーク（Non-Local Recurrent Network, NLRN）を提案します。本研究の主な貢献は以下の通りです。(1) 既存の手法が孤立した方法で自己相似性を測定するのに対し、提案された非局所モジュールは既存の深層ネットワークに柔軟に統合され、エンドツーエンドの学習により各位置とその近傍との間の深い特徴相関を捉えることができます。(2) RNN構造のパラメータ効率性を十分に活用し、深い特徴相関が隣接する再帰状態間で伝播されるように設計しました。この新しい設計は、重度に劣化した画像による不正確な相関推定に対する堅牢性を向上させます。(3) 劣化した画像に対して深い特徴相関を計算する際には、限定された近傍領域を維持することが重要であることを示しました。これは、既存の手法が全画像を使用するものとは対照的です。画像ノイズ除去と超解像度タスクにおいて広範な実験を行いました。再帰的な非局所操作と相関伝播のおかげで、提案されたNLRNは少ないパラメータ数で最先端の手法よりも優れた結果を達成しています。