18日前

MEMC-Net:モーション推定およびモーション補償を駆動とする動画フレーム補間・強調用ニューラルネットワーク

{Ming-Hsuan Yang, Wei-Sheng Lai, Zhiyong Gao, Wenbo Bao, Xiaoyun Zhang}
MEMC-Net:モーション推定およびモーション補償を駆動とする動画フレーム補間・強調用ニューラルネットワーク
要約

動き推定(Motion Estimation, ME)と動き補償(Motion Compensation, MC)は、過去数十年にわたり、従来の動画フレーム補間システムを支配してきました。近年、畳み込みニューラルネットワーク(CNN)がフレーム補間に新たなデータ駆動型パラダイムを確立しました。しかし、既存の学習ベースの手法は、通常、MEとMCのいずれか一方の構成要素のみを推定する傾向にあり、計算効率および補間精度の点で限界が生じています。本研究では、動き推定と動き補償を駆動とするニューラルネットワークを提案します。新規に導入した適応的ワーピング層により、光学フローと補間カーネルを統合し、ターゲットフレームの画素を合成します。この層は完全に微分可能であり、フロー推定ネットワークとカーネル推定ネットワークを同時に最適化することが可能になります。本手法は、MEとMCのモデル駆動アーキテクチャの利点を活かしつつ、大量の動画データを用いた学習により、従来の手作業で設計された構造を回避しています。既存手法と比較して、計算効率が高く、視覚的により自然な結果を生成することが可能となります。さらに、本研究で提案するMEMCアーキテクチャは汎用性の高いフレームワークであり、スーパーレゾリューション、ノイズ除去、ブロッキングノイズ低減など、複数の動画増強タスクへスムーズに拡張可能であることが示されています。広範な定量的および定性的な評価により、提案手法が多様なデータセットにおいて、最先端の動画フレーム補間および増強アルゴリズムと比較しても優れた性能を発揮することが確認されました。

MEMC-Net:モーション推定およびモーション補償を駆動とする動画フレーム補間・強調用ニューラルネットワーク | 最新論文 | HyperAI超神経