Command Palette
Search for a command to run...
MEMC-Net:動き推定および動き補償を駆動とする動画フレーム補間・増強用ニューラルネットワーク
MEMC-Net:動き推定および動き補償を駆動とする動画フレーム補間・増強用ニューラルネットワーク
Ming-Hsuan Yang Wei-Sheng Lai Zhiyong Gao Wenbo Bao Xiaoyun Zhang
概要
運動推定(ME)と運動補償(MC)は、過去数十年にわたり、従来の動画フレーム補間システムを牽引する主要な技術であった。近年、畳み込みニューラルネットワーク(CNN)がフレーム補間の新しいデータ駆動型パラダイムを確立した。しかし、既存の学習ベースの手法は、通常、MEとMCのいずれか一方の構成要素のみを推定する傾向にあり、計算効率および補間精度の両面で限界が生じている。本研究では、運動推定と運動補償を駆動するニューラルネットワークを提案する。新たな適応型ワーピング層を導入し、光流と補間カーネルを統合してターゲットフレームの画素を合成する。この層は完全に微分可能であり、光流推定ネットワークとカーネル推定ネットワークを同時に最適化可能である。本手法は、MEとMCのモデル駆動型アーキテクチャの利点を活かしつつ、大量の動画データを用いた学習により、従来の手動設計に依存しない。既存手法と比較して、計算効率が高く、視覚的に魅力的な出力を得られる。さらに、本研究で提案するMEMCアーキテクチャは汎用的なフレームワークであり、超解像、ノイズ除去、ブロッキングノイズ低減などの複数の動画増強タスクにシームレスに適用可能である。広範な定量的および定性的評価により、提案手法が多数のデータセットにおいて、最先端の動画フレーム補間および増強アルゴリズムと比較して優れた性能を発揮することが実証された。