语义分割得益于深度卷积神经网络的成功取得了显著进展。考虑到自动驾驶的应用需求，实时语义分割近年来已成为研究热点。然而，尽管当前深度信息获取便捷，针对实时RGB-D融合语义分割的研究仍寥寥无几。本文提出了一种名为RFNet的实时融合语义分割网络，能够有效利用跨模态之间的互补信息。基于高效的网络架构，RFNet具备快速运行能力，满足自动驾驶系统对实时性的要求。通过多数据集联合训练，模型增强了对意外小型障碍物的检测能力，丰富了可识别类别，从而更好地应对真实场景中可能出现的未知风险。大量实验结果验证了所提框架的有效性。在Cityscapes数据集上，我们的方法在全分辨率2048×1024下实现了22Hz的推理速度，同时保持了优异的分割精度，优于此前的最先进语义分割模型，并显著超越了大多数现有的RGB-D网络。