マルチスケール双向伝播を備えた深層再帰型ニューラルネットワークによる動画のぼやけ除去

最先端の動画のぼかし除去手法の成功は、主に隣接フレーム間の位置合わせ情報を潜在的な動画復元のために陰的または陽的に推定することに起因している。しかし、ぼかし効果の影響により、ぼけた隣接フレームから位置合わせ情報を推定することは容易ではない。不正確な推定は、その後のフレーム復元を妨げることになる。本研究では、位置合わせ情報を直接推定するのではなく、非整合な隣接フレームからの情報を効果的に伝搬・集約できる、マルチスケール双方向伝搬を備えたシンプルかつ効果的な深層再帰ニューラルネットワーク（RNN-MBP）を提案する。具体的には、異なるスケールで隣接隠れ状態間のフレーム間情報を直接活用できるように、2つのU-Net RNNセルを組み込んだマルチスケール双方向伝搬（MBP）モジュールを構築している。さらに、実世界のぼけた映像シーンにおける提案手法および既存の最先端手法の性能をより適切に評価するため、精密に設計されたデジタル動画取得システム（DVAS）を用いて、実世界ぼけ動画データセット（RBVD）を構築し、これを学習および評価のためのデータセットとして利用している。広範な実験結果から、提案するRBVDデータセットが既存手法の実世界ぼけ動画に対する性能を顕著に向上させることを示しており、3つの代表的なベンチマークにおいても、提案手法は最先端手法と比較して優れた性能を発揮することが確認された。コードは以下のURLで公開されている：https://github.com/XJTU-CVLAB-LOWLEVEL/RNN-MBP。