Command Palette
Search for a command to run...
空間ピラミッドネットワークを用いた光流推定
空間ピラミッドネットワークを用いた光流推定
Ranjan Anurag Black Michael J.
概要
光流の計算において、古典的な空間ピラミッド構造と深層学習を組み合わせることで、粗くから細かくまでの大規模な運動を推定する手法を学習する。本手法では、各ピラミッドレベルで、ペアの画像の一方を現在の光流推定値に基づいて歪み(ワープ)し、その上で光流の更新量を計算する。従来の各レベルで目的関数を最小化するアプローチとは異なり、各ピラミッドレベルごとに1つの深層ネットワークを学習させ、光流の更新量を直接計算する。最近のFlowNetアプローチとは異なり、本手法のネットワークは大規模な運動を直接処理する必要がなく、それらはピラミッド構造によって処理される。このアプローチにはいくつかの利点がある。第一に、本研究で提案する空間ピラミッドネットワーク(SPyNet)は、モデルパラメータ数においてFlowNetと比べて96%も小さく、構造がはるかに単純である。このため、より効率的であり、組み込み型アプリケーションに適している。第二に、各ピラミッドレベルでの光流は小さく(1ピクセル未満)、歪み後の画像ペアに対して畳み込み処理を適用することが適している。第三に、FlowNetとは異なり、学習された畳み込みフィルタは古典的な空間時間フィルタに類似しており、手法の本質やその改善の方向性についての洞察が得られる。標準的なベンチマークにおいて、本手法はFlowNetよりも高い精度を達成しており、古典的光流手法と深層学習を組み合わせる新たなアプローチの可能性を示唆している。