オプティカルフロー推定における重複注意を用いたグローバルマッチング

光流推定はコンピュータビジョンにおける基本的なタスクである。近年、深層ニューラルネットワークを用いた直接回帰手法により、著しい性能向上が達成されている。しかし、これらの手法は長距離の運動対応関係を明示的に捉えられないため、大規模な動きの処理には不向きである。本論文では、従来のマッチング最適化手法に着想を得ており、エネルギー関数に基づく最適化の前に大規模な変位を扱うためのマッチングを導入するというアプローチを参考に、直接回帰の前にシンプルながら効果的なグローバルマッチングステップを導入し、学習ベースのマッチング最適化フレームワークであるGMFlowNetを提案する。GMFlowNetでは、4次元コストボリュームにargmaxを適用することで、グローバルマッチングを効率的に計算する。さらに、マッチングの品質を向上させるために、パッチベースのオーバーラップアテンションを提案し、広範な文脈特徴を抽出する。広範な実験により、GMFlowNetが、最も普及している最適化手法であるRAFTを大きく上回り、標準ベンチマークにおいて最先端の性能を達成することが示された。マッチングとオーバーラップアテンションの導入により、テクスチャが乏しい領域や大規模な動きの予測において、顕著な性能向上が得られている。本研究のコードは、https://github.com/xiaofeng94/GMFlowNet にて公開されている。