11 天前

基于视频的无监督尺度一致深度学习

Jia-Wang Bian, Huangying Zhan, Naiyan Wang, Zhichao Li, Le Zhang, Chunhua Shen, Ming-Ming Cheng, Ian Reid
基于视频的无监督尺度一致深度学习
摘要

我们提出了一种单目深度估计方法SC-Depth,该方法仅需未标注视频进行训练,即可在推理阶段实现尺度一致的深度预测。本工作的主要贡献包括:(i)提出一种几何一致性损失函数,用于惩罚相邻视图间预测深度之间的不一致性;(ii)设计一种自发现掩码机制,可自动定位违反静态场景假设的运动物体,从而在训练过程中抑制由此产生的噪声信号;(iii)通过详尽的消融实验验证了各组件的有效性,并在KITTI与NYUv2数据集上均取得了高质量的深度估计结果。此外,得益于尺度一致预测的能力,我们证明了所训练的单目深度网络可无缝集成至ORB-SLAM2系统中,显著提升其跟踪的鲁棒性与精度。所提出的混合伪RGBD SLAM方法在KITTI数据集上表现优异,且无需额外训练即可良好泛化至KAIST数据集。最后,我们提供了多个可视化演示,用于定性评估方法性能。

基于视频的无监督尺度一致深度学习 | 最新论文 | HyperAI超神经