要約
最新鋭の畳み込みニューラルネットワーク（CNN）であるFlowNet2は、正確なオプティカルフロー推定を達成するために1億6000万以上のパラメータを必要とします。本論文では、Sintel最終パスとKITTIベンチマークという難易度の高い課題においてFlowNet2を上回りながら、モデルサイズは30倍小さく、実行速度は1.36倍速い代替ネットワークを提案します。これは、現在のフレームワークで見落とされがちなアーキテクチャの詳細に焦点を当てることによって可能となりました：(1) 各ピラミッドレベルでのより効果的なフローアイフェレンス手法を軽量なカスケードネットワークを通じて提示します。これにより早期修正を通じたフロー推定精度の向上だけでなく、記述子マッチングをネットワークにシームレスに組み込むことが可能となります。(2) 特徴駆動型の局所畳み込みを使用して外れ値や不明瞭なフローボーダーの問題を改善する新しいフローレギュラー化層を提案します。(3) ネットワークはピラミッド特徴抽出のための効果的な構造を持ち、FlowNet2で行われている画像ワープではなく特徴ワープを取り入れています。当該コードおよび学習済みモデルはhttps://github.com/twhui/LiteFlowNet から入手可能です。