2 个月前

Helvipad:一种用于全向立体深度估计的真实世界数据集

Zayene, Mehdi ; Endres, Jannik ; Havolli, Albias ; Corbière, Charles ; Cherkaoui, Salim ; Kontouli, Alexandre ; Alahi, Alexandre
Helvipad:一种用于全向立体深度估计的真实世界数据集
摘要

尽管在立体深度估计方面取得了进展,但全向成像仍处于探索不足的状态,主要是由于缺乏适当的数据。我们介绍了Helvipad,这是一个用于全向立体深度估计的真实世界数据集,包含来自不同环境的40,000帧视频画面,包括各种光照条件下的拥挤室内和室外场景。该数据集使用顶部和底部设置的两台360°摄像机以及一个LiDAR传感器收集,通过将3D点云投影到等距柱状图(equirectangular)图像上,提供了精确的深度和视差标签。此外,我们还提供了一个增强训练集,通过使用深度补全技术增加了标签密度。我们对领先的立体深度估计模型进行了基准测试,涵盖了标准图像和全向图像。结果显示,虽然最近的立体方法表现良好,但在全向成像中准确估计深度仍然存在挑战。为了解决这一问题,我们引入了必要的适应措施来改进立体模型,从而提高了性能。