Deep Equilibrium Optical Flow Estimation

近年の最先端（SOTA）光学フローモデルの多くは、従来のアルゴリズムを模倣するために、有限ステップの再帰的更新操作を用い、安定したフロー推定へ向けた反復的精緻化を促進している。しかし、こうしたRNNアーキテクチャは大きな計算量およびメモリオーバーヘッドを伴い、安定した推定を直接学習するように設計されていない。その結果、収束が不十分となり、性能の低下を引き起こすことがある。こうした課題を克服するため、本研究では「深層平衡（Deep Equilibrium, DEQ）フロー推定器」を提案する。このアプローチは、任意のブラックボックスソルバーを用いて、暗黙層の無限レベル固定点としてフローを直接解くものであり、その固定点を解析的に微分可能に設計することで、訓練時のメモリ消費量を$O(1)$に抑える。この暗黙的深さアプローチは特定のモデル構造に依存しないため、幅広いSOTAフロー推定モデル設計に適用可能である。DEQフロー推定器を用いることで、固定点の再利用や非正確勾配の利用により、より高速にフローを計算可能となり、再帰的アプローチと比較して訓練メモリ消費量を4～6倍削減しつつ、同等の計算リソースでより優れた結果を達成する。さらに、DEQモデル全体に共通する長年の課題である安定性問題に対処するため、新たなスパース固定点補正スキームを提案する。我々のアプローチは、さまざまな現実的な設定において検証され、SintelおよびKITTIデータセットにおいてSOTA手法を顕著な計算効率およびメモリ効率の向上とともに改善することを示した。