要約
私たちはマルチグリッド予測フィルタフロー（mgPFF）という、ビデオに対する教師なし学習のためのフレームワークを紹介します。mgPFFは、2つのフレームを入力とし、一方のフレームを他方に変形させるピクセルごとのフィルターを出力します。フレーム変形に使用される光学的流れと比較して、mgPFFはサブピクセル移動のモデリングや腐食（例：モーションブラー）への対処においてより強力です。私たちは、大規模な移動を捉えるために大規模なフィルターの学習を必要としないマルチグリッド粗密モデル戦略を開発しました。これにより、共有重みを使用して複数解像度で進行的に動作する極めてコンパクトなモデル（4.6MB）を訓練することが可能になりました。mgPFFは教師なしで自由形式のビデオで訓練され、長距離フローの推定によるフレーム再構築やビデオショット遷移検出だけでなく、ビデオオブジェクトセグメンテーションや姿勢追跡にも容易に適用できることを示しています。これらのタスクにおいて、mgPFFは特別な工夫なく既存の最先端手法を大幅に上回ります。さらに、mgPFFがピクセルごとのフィルター予測を行う特性により、各ピクセルがこれらのタスク解決中にどのように進化しているかを視覚化するユニークな機会を得ることができます。これにより、より良い解釈性が得られます。