GMFlow：グローバルマッチングを用いた光学フローの学習

学習ベースの光流推定は、流れの回帰に畳み込みを用いたコストボリュームのパイプラインによって支配されてきたが、この手法は本質的に局所的な相関に依存しており、大規模な変位という長年の課題に対処することが難しい。これを緩和するため、最先端のRAFTフレームワークは多数の反復的精緻化を用いて予測精度を段階的に向上させ、顕著な性能を達成しているが、その一方で推論時間は線形に増加するという課題を抱えている。高精度と効率性の両立を実現するため、本研究では、光流を直接特徴類似度の比較によって対応関係を同定する「グローバルマッチング問題」として再定式化することで、従来の流れ回帰パイプラインを完全に刷新した。具体的には、特徴強化のためのカスタマイズされたTransformer、グローバル特徴マッチングのための相関とソフトマックス層、流れ伝播のための自己注意機構から構成されるGMFlowフレームワークを提案する。さらに、高解像度の特徴上でGMFlowを再利用して残差流れを予測する精緻化ステップを導入した。本研究の新しいフレームワークは、挑戦的なSintelベンチマークにおいて31段階の精緻化を施したRAFTを上回る性能を発揮しながら、わずか1段階の精緻化で済ませ、かつ高速に動作することを示しており、高精度かつ効率的な光流推定の新たなパラダイムを示唆している。コードは以下のURLから公開されている：https://github.com/haofeixu/gmflow。