从单张图像中学习恢复三维场景形状

尽管在野外单目深度估计方面取得了显著进展，但最近的最先进方法仍无法恢复准确的三维场景形状，这是由于在混合数据深度预测训练中使用的平移不变重建损失导致了未知的深度偏移，以及可能未知的相机焦距。我们详细研究了这一问题，并提出了一种两阶段框架，首先从单一单目图像预测出具有未知尺度和平移的深度，然后利用三维点云编码器预测缺失的深度偏移和焦距，从而恢复真实的三维场景形状。此外，我们提出了一种图像级别的归一化回归损失和基于法线的几何损失，以增强在混合数据集上训练的深度预测模型。我们在九个未见过的数据集上测试了我们的深度模型，并在零样本数据集泛化方面达到了最先进水平。代码可从以下链接获取：https://git.io/Depth