2 个月前

基于无监督三目假设的单目深度估计学习

Matteo Poggi; Fabio Tosi; Stefano Mattoccia
基于无监督三目假设的单目深度估计学习
摘要

从单个图像中获取准确的深度测量值是3D感知的一个引人入胜的解决方案。卷积神经网络(CNNs)在这一领域取得了显著的进步,而最近的趋势则是用几何引导的图像重建信号替代了对真实标签的需求,从而实现了无监督训练。目前,最先进的技术依赖于通过双目立体装置获取的图像来预测逆深度(即视差),遵循上述监督原则。然而,这些方法在遮挡区域附近、左图像边界等位置存在众所周知的问题,这些问题源自双目立体设置。因此,在本文中,我们通过转向三目域进行训练来解决这些问题。假设中央图像是参考图像,我们训练一个CNN来推断该图像与其左侧和右侧帧之间的视差表示。这种策略可以生成不受典型立体伪影影响的深度图。此外,由于三目数据集很少见,我们引入了一种新的交错训练程序,可以从现有的双目数据集中强制实施三目假设。在KITTI数据集上的详尽实验结果证实,我们的方法不仅优于基于双目立体对进行无监督单目深度估计的最先进方法,也优于任何已知依赖其他线索的方法。