2 个月前

基于曲率引导的动态尺度网络在多视图立体视觉中的应用

Khang Truong Giang; Soohwan Song; Sungho Jo
基于曲率引导的动态尺度网络在多视图立体视觉中的应用
摘要

多视图立体(MVS)是精确三维重建的关键任务。大多数近期的研究试图通过设计聚合的三维成本体及其正则化来提高MVS中匹配成本体积的性能。本文专注于学习一个鲁棒的特征提取网络,以增强匹配成本的性能,而无需在其他步骤中进行大量计算。具体而言,我们提出了一种动态尺度特征提取网络,即CDSFNet(Curvature-Guided Dynamic Scale Feature Network)。该网络由多个新颖的卷积层组成,每个卷积层都可以根据图像表面的法曲率选择每个像素的适当补丁尺度。因此,CDSFNet可以估计最优补丁尺度,从而学习区分性特征,实现参考图像和源图像之间准确的匹配计算。通过将鲁棒提取的特征与适当的成本公式策略相结合,我们的MVS架构能够更精确地估计深度图。广泛的实验表明,所提出的方法在复杂的室外场景中优于其他最先进的方法。它显著提高了重建模型的完整性。因此,该方法可以在更快的运行时间和更低的内存消耗下处理更高分辨率的输入数据,优于其他MVS方法。我们的源代码可在以下网址获取:https://github.com/TruongKhang/cds-mvsnet。