17日前
再帰的動画のぼやけ除去:ぼやけに依存しない運動推定とピクセルボリュームを用いた手法
Hyeongseok Son, Junyong Lee, Jonghyeop Lee, Sunghyun Cho, Seungyong Lee

要約
動画のぼかし除去に成功するためには、隣接フレームからの情報を効果的に活用することが不可欠である。現在の最先端技術である動画ぼかし除去手法の多くは、複数のフレームから得られる情報を集約するために、動画フレーム間の運動補償(motion compensation)を採用している。しかしながら、従来のぼかし除去手法で用いられる運動補償手法はぼかし不変性(blur-invariant)を備えておらず、異なるぼかし量を有するフレームに対してはその精度が制限される。この問題を軽減するため、複数フレームからの情報を効果的に集約する2つの新規アプローチを提案する。第一に、ぼかしのあるフレーム間の運動推定精度を向上させる「ぼかし不変運動推定学習」(blur-invariant motion estimation learning)を導入する。第二に、推定された運動によるワーピングによるフレームの整列ではなく、候補となる鮮明なピクセルを含むピクセルボリューム(pixel volume)を用いて、運動推定の誤差を解消する運動補償手法を採用する。これらの2つのプロセスを統合することで、復元済みの過去のフレームを十分に活用できる効果的な再帰型動画ぼかし除去ネットワークを構築する。実験の結果、深層学習を用いる最近の手法と比較して、定量的および定性的な観点から、本手法が最先端の性能を達成することが示された。