基于RGB引导和不确定性的稀疏噪声LiDAR补全

这项研究提出了一种新的方法，通过RGB图像引导来精确完成稀疏LiDAR地图。对于自动驾驶汽车和机器人而言，使用LiDAR（激光雷达）是不可或缺的，以实现精确的深度预测。许多应用依赖于对周围环境的感知，并利用深度线索进行推理和响应。一方面，单目深度预测方法无法生成绝对且精确的深度图；另一方面，立体视觉方法在性能上仍显著落后于基于LiDAR的方法。深度补全任务的目标是从稀疏且不规则的点云中生成密集的深度预测，这些点云被映射到二维平面上。我们提出了一种新的框架，该框架提取全局和局部信息，以生成合适的深度图。我们认为简单的深度补全并不需要一个深层网络。然而，为了利用物体信息并纠正稀疏输入中的错误，我们还提出了一种融合单目相机RGB图像引导的方法。这显著提高了准确性。此外，我们还利用置信度掩码来考虑每种模态下深度预测的不确定性。这种融合方法超越了现有最先进技术，并在KITTI深度补全基准测试中排名第一。我们的代码及可视化结果已公开可用。