10日前
BANet:動的シーンのデブラー用のブラー認識注意機構ネットワーク
Fu-Jen Tsai, Yan-Tsung Peng, Yen-Yu Lin, Chung-Chi Tsai, Chia-Wen Lin

要約
画像のモーションブラーは、物体の動きとカメラのブレの複合的な影響によって生じるものであり、一般的に方向性を持ち、非一様なブラー特性を示す。従来の研究では、自己再帰的マルチスケール、マルチパッチ、またはマルチタイムスケールアーキテクチャを用い、自己注意機構(self-attention)を導入することで、非一様ブラーの復元を試みてきた。しかしながら、自己再帰フレームワークを採用する場合、推論時間が長くなる傾向にあり、またピクセル間やチャネル間の自己注意機構は過剰なメモリ使用を引き起こす可能性がある。本論文では、単一の順伝播(forward pass)により高精度かつ効率的なブラー除去を実現する「ブラー感知型注意ネットワーク(Blur-aware Attention Network, BANet)」を提案する。BANetは、多核ストリッププーリング(multi-kernel strip pooling)を用いた領域ベースの自己注意機構により、異なる強度および方向性を持つブラーパターンを分離し、段階的並列拡張畳み込み(cascaded parallel dilated convolution)によりマルチスケールのコンテンツ特徴を効果的に集約する。GoProおよびRealBlurベンチマークにおける広範な実験結果から、提案手法は最先端の手法と比較しても優れた性能を示し、リアルタイムでのブラー除去結果を提供可能であることが確認された。