2ヶ月前
AdaCoF: アダプティブコラボレーションオブフローズによるビデオフレーム補間
Hyeongmin Lee; Taeoh Kim; Tae-young Chung; Daehyun Pak; Yuseok Ban; Sangyoun Lee

要約
ビデオフレーム補間は、ビデオ処理研究における最も困難なタスクの一つです。最近では、深層学習を基盤とする多くの研究が提案されています。これらの方法の多くは、各出力ピクセルを推定するために有用な情報を含む位置を見つけることに焦点を当てており、独自のフレームワーピング操作を使用しています。しかし、多くの方法には自由度(Degrees of Freedom: DoF)の制限があり、実世界のビデオに見られる複雑な動きに対処できていません。この問題を解決するため、私たちは新しいワーピングモジュールである「アダプティブフローコラボレーション(Adaptive Collaboration of Flows: AdaCoF)」を提案します。当手法では、各目標ピクセルに対してカーネル重みとオフセットベクトルを推定し、出力フレームを合成します。AdaCoFは他のアプローチと比較して最も一般的なワーピングモジュールであり、それらの多くがAdaCoFの特殊ケースとして含まれています。したがって、非常に広範な複雑な動きに対応できます。さらに当フレームワークの性能向上とより現実的な出力合成を目指し、ビデオフレーム補間にのみ適用可能な双方向フレーム敵対的損失(dual-frame adversarial loss)を導入しました。実験結果は、固定トレーニングセット環境およびミドルベリーベンチマークにおいて、当手法が最先端の方法よりも優れていることを示しています。