使用CNN处理稀疏和密集数据：深度补全与语义分割

卷积神经网络（Convolutional Neural Networks, CNN）设计用于处理密集数据，但视觉数据通常较为稀疏（如立体深度、点云、笔画等）。本文提出了一种方法，该方法能够在可选的密集RGB图像辅助下处理稀疏深度数据，并通过仅修改最后一层实现深度补全和语义分割。我们的方案能够高效地学习稀疏特征，而无需额外的有效性掩码。我们展示了如何确保网络在不同输入稀疏度下的鲁棒性。即使在密度低至0.8%（8层激光雷达）的情况下，我们的方法仍然有效，并且在Kitti深度补全基准测试中超越了所有已发表的最先进方法。