17 天前

EPP-MVSNet:基于视差组装的多视图立体深度预测

{Fan Yu, Lei Chen, Jingwei Huang, Qirui Wang, Yue Gong, Xinjun Ma}
EPP-MVSNet:基于视差组装的多视图立体深度预测
摘要

本文提出了一种名为EPP-MVSNet的新型深度学习网络,用于多视角立体(Multi-View Stereo, MVS)的三维重建。EPP-MVSNet能够以较低的计算代价,将高分辨率特征精确聚合至具有最优深度范围的有限代价体中,从而实现高效且准确的三维重建。与现有方法在离散位置计算特征代价、影响三维重建精度不同,EPP-MVSNet引入了一种基于极线汇聚的卷积核,该卷积核沿极线自适应地划分区间,充分挖掘图像分辨率的潜力。此外,我们提出了一种基于熵的优化策略,使代价体在描述空间几何结构的同时,最大限度地减少冗余信息。同时,我们设计了一种轻量级网络结构,融合伪三维卷积(Pseudo-3D Convolutions),在保证高精度的同时兼顾计算效率。我们在具有挑战性的Tanks & Temples(TNT)、ETH3D和DTU数据集上进行了大量实验,结果表明,EPP-MVSNet在所有数据集上均取得了优异性能,并在在线TNT中期基准测试中获得了最高的F-Score。相关代码已开源,地址为:https://gitee.com/mindspore/mindspore/tree/master/model_zoo/research/cv/eppmvsnet。