具有不确定性感知的自适应薄体积表示的深度立体匹配

我们提出了一种不确定性感知级联立体网络（UCS-Net），用于从多张RGB图像中进行三维重建。多视图立体（MVS）旨在从多视角图像中重建精细的场景几何结构。以往基于学习的MVS方法通过固定深度假设的平面扫描体来估计每视角的深度；这通常需要密集采样的平面以达到所需的精度，且很难实现高分辨率深度。相比之下，我们提出了自适应薄体积（ATVs）；在ATV中，每个平面的深度假设是空间变化的，能够适应先前逐像素深度预测的不确定性。我们的UCS-Net包含三个阶段：第一阶段处理一个小的标准平面扫描体，以预测低分辨率深度；随后两个阶段则使用ATVs来以更高的分辨率和更高的精度细化深度。我们的ATV仅由少量平面组成，但能高效地在学习到的小间隔内划分局部深度范围。特别是，我们提出使用基于方差的不确定性估计来自适应地构建ATVs；这一可微分过程引入了合理且细粒度的空间划分。我们的多阶段框架逐步细分广阔的场景空间，随着深度分辨率和精度的提高，实现了从粗到精的高完整性和高精度场景重建。我们在各种具有挑战性的数据集上展示了该方法相较于现有最佳基准测试具有优越性能。