16 天前

NDDepth:基于法向距离辅助的单目深度估计

Shuwei Shao, Zhongcai Pei, Weihai Chen, Xingming Wu, Zhengguo Li
NDDepth:基于法向距离辅助的单目深度估计
摘要

单目深度估计因其广泛的应用前景而受到计算机视觉领域的广泛关注。本文提出了一种新颖的基于物理(几何)驱动的深度学习框架,用于单目深度估计,其核心假设是三维场景由分段平面构成。具体而言,我们引入了一种新的法向-距离头(normal-distance head),可输出每个像素点的表面法向量以及该平面到原点的距离,从而推导出各位置的深度信息。同时,通过引入一种改进的平面感知一致性约束(plane-aware consistency constraint),对法向量与距离进行有效正则化。为进一步提升所提框架的鲁棒性,我们还集成了一个额外的深度头。为充分挖掘这两个头的协同优势,我们设计了一种高效的对比迭代精炼模块,该模块根据深度不确定性以互补方式对深度图进行迭代优化。大量实验结果表明,所提方法在NYU-Depth-v2、KITTI和SUN RGB-D等多个基准数据集上均超越了此前的最先进方法。尤为值得一提的是,在提交时,该方法在KITTI深度预测在线评测榜单中位列所有提交结果的第一名。

NDDepth:基于法向距离辅助的单目深度估计 | 最新论文 | HyperAI超神经