11 天前

ScaleDepth:将度量深度估计分解为尺度预测与相对深度估计

Ruijie Zhu, Chuxin Wang, Ziyang Song, Li Liu, Tianzhu Zhang, Yongdong Zhang
ScaleDepth:将度量深度估计分解为尺度预测与相对深度估计
摘要

从单张图像估计深度是一项具有挑战性的视觉任务。相较于相对深度估计,度量深度估计因其实际的物理意义以及在真实场景中关键的应用价值而受到更多关注。然而,现有的度量深度估计方法通常在特定数据集上进行训练,这些数据集中的场景具有相似的尺度特征,因此在面对尺度差异显著的场景时,泛化能力面临挑战。为解决这一问题,我们提出了一种新颖的单目深度估计方法——ScaleDepth。该方法将度量深度分解为场景尺度与相对深度两个部分,并分别通过语义感知的尺度预测(Semantic-aware Scale Prediction, SASP)模块和自适应相对深度估计(Adaptive Relative Depth Estimation, ARDE)模块进行预测。所提出的ScaleDepth具有多项优势:首先,SASP模块能够隐式融合图像的结构与语义特征,从而实现对场景尺度的精确预测;其次,ARDE模块可在归一化深度空间内自适应地估计每张图像的相对深度分布;第三,该方法在统一框架下实现了对室内与室外场景的度量深度估计,无需预先设定深度范围,也无需对模型进行微调。大量实验结果表明,ScaleDepth在室内、室外、无约束以及未见场景中均达到了当前最先进的性能水平。项目主页:https://ruijiezhu94.github.io/ScaleDepth