MEMC-Net: 動画補間および動画強化のための運動推定と運動補償を駆動するニューラルネットワーク

運動推定（ME）と運動補償（MC）は、過去数十年間にわたり、古典的なビデオフレーム補間システムで広く使用されてきました。最近では、畳み込みニューラルネットワークを基にしたデータ駆動型のフレーム補間手法が提案されています。しかし、既存の学習ベースの方法は通常、フローまたは補償カーネルのいずれかを推定するため、計算効率と補間精度の両面で性能が制限されています。本研究では、ビデオフレーム補間のために運動推定と補償を駆動するニューラルネットワークを提案します。新しい適応的なワーピング層を開発し、光学フローと補間カーネルを統合して目標フレームピクセルを合成します。この層は完全に微分可能であるため、フローエスティメーションネットワークとカーネルエスティメーションネットワークを共同で最適化することができます。提案されたモデルは、手作りの特徴量を使用せずに運動推定と補償手法の利点を利用できます。既存の手法と比較して、当方針は計算効率が高く、より視覚的に魅力的な結果を生成することができます。さらに、提案されたMEMC-Netはスーパーレゾリューション、ノイズ除去、ブロックアーティファクト低減などのいくつかのビデオ強化タスクにシームレスに適用できます。広範な定量的および定性的評価により、提案手法は幅広いデータセットにおいて最先端のビデオフレーム補間および強化アルゴリズムに対して有利な性能を示しています。