要約
多くのビデオ強化アルゴリズムは、ビデオシーケンス内のフレームを登録するために光学フローに依存しています。しかし、正確なフローアクセスは困難であり、光学フロー自体が特定のビデオ処理タスクにとって最適でない場合もしばしばあります。本論文では、自己監督型かつタスク固有の方法で学習される運動表現であるタスク指向フロー（TOFlow）を提案します。我々は、学習可能な運動推定部とビデオ処理部からなるニューラルネットワークを設計し、これらを共同で訓練してタスク指向フローを学習させます。評価のために、低レベルのビデオ処理用の大規模かつ高品質なビデオデータセットVimeo-90Kを構築しました。TOFlowは、3つのビデオ処理タスク（フレーム補間、ビデオノイズ除去/ブロックアーティファクト除去、ビデオスーパー解像度）において標準的なベンチマークおよびVimeo-90Kデータセット上で従来の光学フローを上回る性能を示しています。