2ヶ月前

軽量光流CNN - データ忠実度と正則化の再検討

Tak-Wai Hui; Xiaoou Tang; Chen Change Loy
軽量光流CNN - データ忠実度と正則化の再検討
要約

40年以上にわたり、光学フロー推定の問題は変分法を用いて解決されてきた。機械学習の進歩により、最近では畳み込みニューラルネットワーク(CNN)を使用してこの問題に取り組む研究が行われ、有望な結果が示されている。最先端のCNNであるFlowNet2は、正確なフロー推定を達成するために1億6000万以上のパラメータを必要とする。我々のLiteFlowNet2は、SintelおよびKITTIベンチマークにおいてFlowNet2を上回る性能を発揮し、モデルサイズは25.3倍小さく、実行速度は3.1倍速い。LiteFlowNet2は従来の方法によって築かれた基礎に基づいており、変分法におけるデータ適合性と正則化に相当する役割を持つ。我々はSPyNetと同様に空間ピラミッド形式で光学フローを計算するが、新しい軽量級連続フローアイネンスを使用している。これは初期修正を通じて記述子マッチングをシームレスに統合することで高いフロー推定精度を提供する。フローレギュラー化は特徴駆動型の局所畳み込みを通じて外れ値や不明瞭なフローボーダーの問題を改善するために使用される。また、我々のネットワークはピラミッド特徴抽出のために効果的な構造を持ち、FlowNet2やSPyNetで採用されている画像ワープではなく特徴ワープを取り入れている。LiteFlowNetと比較して、LiteFlowNet2はSintel Cleanで23.3%、Sintel Finalで12.8%、KITTI 2012で19.6%、KITTI 2015で18.8%の光学フロー精度向上を達成しており、実行速度も2.2倍速くなっている。我々のネットワークプロトコルと学習済みモデルはhttps://github.com/twhui/LiteFlowNet2上で公開されています。

軽量光流CNN - データ忠実度と正則化の再検討 | 最新論文 | HyperAI超神経