グローバル運動集約を用いた隠れた運動の推定の学習

オクルージョンは、局所的な証拠に依存する光学フロー推定アルゴリズムにとって大きな課題である。本研究では、オクルージョンとされる点を、第1フレームでは像として観測されるが、次のフレームでは観測されない点と定義する。これは標準的な定義をやや拡張したものであり、フレーム外へ移動する点も含む。このような点の運動を推定することは、特に2フレーム間での設定において極めて困難である。これまでの研究では、CNNを用いてオクルージョンを学習しようとする試みがなされたが、それほど成功とは言えない。あるいは、時間的滑らかさを用いて複数フレームを用いてオクルージョンを推論する必要がある。本論文では、2フレーム設定において、画像の自己類似性をモデル化することで、オクルージョン問題をより効果的に解決できることを主張する。我々は、第1フレーム内の画素間の長距離依存関係を捉えるためのTransformerベースのグローバル運動集約モジュールを導入し、対応する運動特徴に対してグローバルな集約処理を行う。実験により、非オクルージョン領域の性能を損なうことなく、オクルージョン領域における光学フロー推定の精度を顕著に向上できることを示した。このアプローチは、難易度の高いSintelデータセットにおいて、新規の最先端性能を達成し、Sintel Finalでは平均エンドポイント誤差を13.6%、Sintel Cleanでは13.7%改善した。本論文提出時点において、本手法は発表済みおよび未発表のすべてのアプローチの中で、これらのベンチマークでトップランクを獲得している。コードは以下のURLで公開されている：https://github.com/zacjiang/GMA