要約
深層学習アプローチは、光流推定問題に対して著しい成果を上げている。その成功の鍵は、コストボリュームの利用と粗いから細かい流れ推定への段階的推論（coarse-to-fine flow inference）にある。しかし、画像中に部分的オクルージョンや均質領域が存在する場合、対応問題は不適切（ill-posed）な状態に陥る。これによりコストボリュームに外れ値（outliers）が含まれ、その結果、流れの復元（flow decoding）に悪影響を及ぼす。さらに、粗いから細かい流れ推定は、正確な初期流れの設定を必要とする。曖昧な対応関係は誤った流れ場を生み出し、その後の段階における流れ推定の精度を低下させる。本論文では、上記の課題に対処するため、2つの専用モジュールから構成される深層ネットワーク「LiteFlowNet3」を提案する。（1）流れ復元の前に、各コストベクトルに対して適応的調制（adaptive modulation）を施すことで、コストボリューム内の外れ値問題を改善する。（2）さらに、局所的な流れ一貫性（local flow consistency）を活用することで、流れの精度を向上させる。具体的には、新しい流れ場のワーピング（warping）手法により、不正確な光流を近傍の正確な流れで置き換える。LiteFlowNet3は、公開ベンチマークにおいて優れた性能を達成するとともに、モデルサイズが小さく、高速な実行時間を実現している。