摘要
基于图像引导的深度补全任务旨在从稀疏深度图和高质量彩色图像中生成稠密深度图。在该任务中，如何有效融合颜色与深度两种模态的信息，对实现优异性能至关重要。本文提出一种双分支主干网络结构，包含一个以颜色信息为主导的分支和一个以深度信息为主导的分支，以充分挖掘并融合两种模态的互补特性。具体而言，其中一个分支输入彩色图像与稀疏深度图，用于预测稠密深度图；另一个分支则以稀疏深度图和先前预测的深度图作为输入，同样输出稠密深度图。两个分支所生成的深度图具有互补性，因此采用自适应融合策略进行整合。此外，本文还提出一种简洁的几何卷积层，用于编码三维几何结构线索。该几何编码的主干网络在多个阶段实现不同模态间的融合，从而获得优异的深度补全效果。为进一步提升融合后深度图的精度，我们还引入了一种改进的空洞加速CSPN++结构，实现高效精细化优化。所提出的完整模型在提交时位居KITTI深度补全在线排行榜首位，且推理速度远超多数排名靠前的方法。本工作的代码已公开，地址为：https://github.com/JUGGHM/PENet_ICRA2021。