HyperAIHyperAI

Command Palette

Search for a command to run...

针对无纹理鲁棒性的多视图立体视觉的自适应块变形

Yawei Luo Luoyuan Xu Wenkai Liu Zhuo Chen Wei Yang Tao Guan Zhaojie Zeng Yuesong Wang

摘要

近年来,基于深度学习的方法在多视图立体视觉(multi-view stereo)任务中展现出强大优势,这主要得益于其卓越的视觉特征提取能力。然而,大多数基于学习的方法在处理大规模无纹理区域时,需构建代价体(cost volume)并大幅扩展感受野,以获得令人满意的重建效果,从而导致内存消耗急剧增加,难以实际应用。为兼顾内存效率与无纹理区域的鲁棒性,本文创新性地将深度学习中可变形卷积(deformable convolution)的思想引入传统的基于PatchMatch的方法中。具体而言,针对每个存在匹配模糊性的像素(称为不可靠像素),我们自适应地变形其周围的图像块,扩展感受野,直至覆盖足够数量具有相关性且无匹配模糊性的可靠像素(即作为锚点的像素)。在执行PatchMatch匹配时,由于受到这些锚点像素的约束,不可靠像素的匹配代价能够确保在正确深度处达到全局最小值,从而显著提升多视图立体重建的鲁棒性。为进一步提升锚点像素的检测能力,以支持更优的自适应块变形,本文提出通过观测优化过程中深度估计的收敛情况来评估某一像素的匹配模糊程度。实验结果表明,所提方法在ETH3D和Tanks and Temples数据集上均达到当前最优性能,同时保持了极低的内存占用。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供