摘要
近年来许多最先进的（SOTA）光流模型采用有限步长的递归更新机制，通过鼓励迭代优化以逼近稳定的光流估计，从而模拟传统算法的行为。然而，这类递归神经网络（RNN）带来了巨大的计算与内存开销，且并未直接训练以建模这种稳定估计过程，因而往往收敛性能不佳，导致性能退化。为克服上述缺陷，我们提出了一种深度平衡（Deep Equilibrium, DEQ）光流估计器，该方法将光流直接建模为隐式层的无限层级不动点（可使用任意黑箱求解器求解），并通过解析方式对这一不动点进行反向传播（因此训练时仅需 $O(1)$ 的内存）。该隐式深度方法不依赖于特定模型结构，因而可广泛适用于多种SOTA光流估计模型的设计。借助DEQ光流估计器，我们能够在不牺牲精度的前提下，通过不动点复用和非精确梯度等技术实现更快速的光流计算；与传统递归方法相比，训练内存消耗降低4至6倍，并在相同计算预算下取得更优的性能表现。此外，我们提出了一种新颖的稀疏不动点校正机制，有效提升了DEQ光流估计器的稳定性，解决了DEQ模型普遍面临的长期挑战。我们在多种真实场景下对所提方法进行了测试，结果表明，该方法在Sintel和KITTI数据集上显著提升了现有SOTA方法的性能，同时展现出更优的计算效率与内存效率。