摘要
深度神经网络在从海量数据中学习模式方面表现出色。另一方面，许多几何视觉任务可被建模为优化问题。为了无缝融合深度学习与几何视觉，实现学习与几何优化的端到端联合训练至关重要。为此，我们提出了一种名为BPnP的新网络模块，该模块能够通过透视n点（Perspective-n-Points, PnP）求解器反向传播梯度，从而指导神经网络参数的更新。基于隐式微分（implicit differentiation）理论，我们证明了“自包含”式PnP求解器的梯度可被准确且高效地推导，仿佛优化器模块本身是一个可微函数。我们通过将BPnP集成到一个深度模型中进行了验证，该模型能够从训练数据中联合学习相机内参、相机外参（位姿）以及三维结构。此外，我们构建了一个端到端可训练的物体位姿估计流水线，通过结合基于特征的热图损失与2D-3D重投影误差，显著提升了估计精度。由于本方法可拓展至其他优化问题，我们的工作为以系统化、可学习的方式实现几何视觉奠定了基础。我们已将BPnP的PyTorch实现开源，项目地址为：http://github.com/BoChenYS/BPnP。