要約
従来の動画スーパーレゾリューション（SR）アルゴリズムは、劣化プロセスにおけるブラー核が既知であると仮定しており、復元プロセスにおいてブラー核をモデル化しないことが一般的である。しかし、この仮定は動画SRにおいては成立せず、通常、過度に滑らかなスーパーレゾリューション画像を生成してしまう。本論文では、ブラー核のモデル化アプローチを用いて動画SRを解決するための深層畳み込みニューラルネットワーク（CNN）モデルを提案する。提案する深層CNNモデルは、運動ブラー推定モジュール、運動推定モジュール、および潜在画像復元モジュールから構成される。運動ブラー推定モジュールは信頼性の高いブラー核を提供する目的で用いられる。推定されたブラー核を基に、動画SRの画像形成モデルに基づく画像デコンボリューション手法を開発し、中間的な潜在画像を生成することで、シャープな画像コンテンツの復元を可能にする。しかし、生成された中間潜在画像にはアーティファクトが含まれる可能性がある。高品質な画像生成を実現するため、運動推定モジュールを用いて隣接フレームからの情報を探索し、運動推定によって深層CNNモデルの復元性能を向上させる制約を加える。本研究では、提案手法がより明瞭で細部構造が豊かな画像を生成できることを示す。広範な実験結果により、本手法が最先端の手法と比較しても優れた性能を発揮することが確認された。