17 天前
用于道路驾驶图像的RGB-D语义分割实时融合网络,融合意外障碍物检测
Lei Sun, Kailun Yang, Xinxin Hu, Weijian Hu, Kaiwei Wang

摘要
语义分割得益于深度卷积神经网络的成功取得了显著进展。考虑到自动驾驶的应用需求,实时语义分割近年来已成为研究热点。然而,尽管当前深度信息获取便捷,针对实时RGB-D融合语义分割的研究仍寥寥无几。本文提出了一种名为RFNet的实时融合语义分割网络,能够有效利用跨模态之间的互补信息。基于高效的网络架构,RFNet具备快速运行能力,满足自动驾驶系统对实时性的要求。通过多数据集联合训练,模型增强了对意外小型障碍物的检测能力,丰富了可识别类别,从而更好地应对真实场景中可能出现的未知风险。大量实验结果验证了所提框架的有效性。在Cityscapes数据集上,我们的方法在全分辨率2048×1024下实现了22Hz的推理速度,同时保持了优异的分割精度,优于此前的最先进语义分割模型,并显著超越了大多数现有的RGB-D网络。