摘要
城市场景解析是智能交通系统的核心技术之一，近年来，基于RGB与热成像的多模态城市场景解析在计算机视觉领域引起了越来越多的研究关注。然而，现有大多数方法在预测图的边界提取方面表现不佳，且未能充分挖掘高层特征的潜在信息。此外，这些方法通常仅对RGB与热成像模态的特征进行简单融合，难以获得具有丰富表达能力的综合融合特征。为解决上述问题，本文提出了一种面向RGB-热成像城市场景解析的边缘感知引导融合网络（Edge-aware Guidance Fusion Network, EGFNet）。首先，利用RGB图像与热成像图像生成先验边缘图，以捕捉预测结果中的细节信息，并将先验边缘线索嵌入到特征图中，增强模型对边界结构的感知能力。为实现RGB与热成像信息的有效融合，设计了一种多模态融合模块，确保跨模态特征之间的充分交互与互补。考虑到高层语义信息的重要性，进一步提出了全局语义信息模块，用于从高层特征中提取丰富的语义表征。在解码阶段，采用简单的逐元素相加方式实现级联特征融合，以保持特征的完整性与一致性。最后，为提升解析精度，引入多任务深度监督机制，对语义分割图与边界预测图同时进行监督训练。在多个基准数据集上的大量实验结果表明，所提出的EGFNet在城市场景解析任务中具有显著的性能优势，其表现优于当前主流的先进方法，验证了该方法的有效性与优越性。