要約
光学フロー推定に用いられる最先端のニューラルネットワークモデルは、画素ごとの変位を表現するために高解像度での密な相関ボリューム（dense correlation volume）を必要とする。確かに密な相関ボリュームは正確な推定に有益であるが、その計算量およびメモリ使用量の多さが、モデルの効率的な学習および展開を妨げている。本論文では、密な相関ボリュームの表現が冗長であり、その要素のわずかな部分のみを用いても高精度なフロー推定が可能であることを示す。この観察に基づき、我々は「スパース相関ボリューム（Sparse Correlation Volume）」と呼ぶ代替的な変位表現を提案する。この手法は、一方の特徴マップの各特徴ベクトルに対して、他方の特徴マップにおけるk個の最近傍マッチを直接計算し、スパースデータ構造に格納することで構築される。実験の結果、従来の密な相関ボリュームを用いる手法と比較して、計算コストおよびメモリ使用量を大幅に削減しつつも、高い推定精度を維持できることを確認した。コードは以下のURLで公開されている：https://github.com/zacjiang/scv。