摘要
我们提出了一种名为 HYBRIDDEPTH 的鲁棒深度估计流水线，旨在解决深度估计中的若干关键挑战，包括尺度模糊性、硬件异构性以及模型泛化能力问题。HYBRIDDEPTH 利用焦距堆栈（focal stack）数据——这一在主流移动设备中易于获取的信息——生成高精度的度量深度图。通过融合近期单图像深度估计领域所取得的深度先验知识，我们的模型在结构细节表现上显著优于现有方法。我们以端到端系统的形式测试了该流水线，配套开发了一款新型移动端客户端用于采集焦距堆栈数据，随后将数据传输至配备 GPU 的服务器进行深度估计。全面的定量与定性分析表明，HYBRIDDEPTH 在 DDFF12 和 NYU Depth V2 等常用数据集上的表现超越了当前最先进（SOTA）模型。此外，HYBRIDDEPTH 展现出强大的零样本泛化能力：在 NYU Depth V2 上训练后，其在 ARKitScenes 数据集上的零样本性能超越了现有 SOTA 模型，并在 Mobile Depth 数据集上生成了更具结构准确性的深度图。代码已开源，地址为：https://github.com/cake-lab/HybridDepth/。