2 个月前

DELTAS:通过学习三角测量和稀疏点的稠密化进行深度估计

Sinha, Ayan ; Murez, Zak ; Bartolozzi, James ; Badrinarayanan, Vijay ; Rabinovich, Andrew
摘要

多视图立体(MVS)是主动深度感知精度与单目深度估计实用性之间的最佳平衡点。基于代价体的方法通过使用三维卷积神经网络(CNNs)显著提高了MVS系统的精度。然而,这种高精度是以高昂的计算成本为代价的,这阻碍了其实用化应用。不同于传统的代价体方法,我们提出了一种高效的深度估计方法,首先(a)检测并评估兴趣点的描述符,然后(b)学习匹配并三角化一小部分兴趣点,最后(c)利用CNNs对这一稀疏的3D点集进行稠密化处理。一个端到端的网络在深度学习框架内高效地完成了这三个步骤,并结合中间的二维图像和三维几何监督以及深度监督进行了训练。关键在于,我们的第一步通过兴趣点检测和描述符学习补充了姿态估计。我们在不同场景长度下展示了最先进的深度估计结果,并且计算成本更低。此外,我们的方法可以推广到新的环境,网络输出的描述符与强大的基线方法相比也具有竞争力。代码可在https://github.com/magicleap/DELTAS 获取。