要約
光学フローの計算において、古典的な空間ピラミッド構成と深層学習を組み合わせることで学習を行います。この方法は、画像対の一方を現在のフローアンザツに基づいて各ピラミッドレベルでワーピングし、フローの更新を計算することで、粗いレベルから細かいレベルへと大規模な動きを推定します。各ピラミッドレベルでの標準的な目的関数の最小化ではなく、各レベルごとに1つの深層ネットワークを訓練してフローの更新を計算します。最近のFlowNetアプローチとは異なり、ネットワークは大規模な動きに対処する必要がありません；これはピラミッドによって処理されます。これにはいくつかの利点があります。第一に、我々の空間ピラミッドネットワーク（SPyNet）はモデルパラメータに関してFlowNetよりもずっと単純で96%小さいです。これにより、効率性が向上し、埋め込みアプリケーションに適しています。第二に、各ピラミッドレベルでのフローが小さく（1ピクセル未満）、ワーピングされた画像対に対して畳み込み手法を適用することが適切です。第三に、FlowNetとは異なり、学習した畳み込みフィルタは古典的な時空フィルタに類似しており、方法の理解と改善への道筋を提供します。我々の結果はほとんどの標準ベンチマークにおいてFlowNetよりも正確であり、古典的なフローメソッドと深層学習を組み合わせる新しい方向性を示唆しています。