要約
動画のブラー除去における重要な要素の一つは、隣接フレームをどのように活用するかである。近年の最先端手法では、中心フレームとアラインメントされた隣接フレームを使用するか、あるいは過去のフレームから情報を再帰的に現在のフレームへ伝搬する方式が採用されている。本研究では、効率的な動画ブラー除去を実現するための新概念「マルチブラーからデブラー（MB2D）」を提案する。まず、アンシャープマスキングのアイデアに着想を得て、長時間露光によりよりぼやけた画像を追加入力として用いることで、性能の著しい向上が可能であると主張する。次に、隣接フレームからよりぼやけた画像を合成できる「マルチブラー再帰型ニューラルネットワーク（MBRNN）」を提案し、既存の動画ブラー除去手法に大幅な性能向上をもたらす。最後に、MBRNNから得られる再帰的特徴マップを連結するマルチスケールブラー除去手法（MSDR）を導入することで、GoProおよびSuという代表的なデータセットにおいて、高速かつメモリ効率の良い方法で最先端の性能を達成した。