摘要
RGB-热成像（RGB-T）语义分割在处理低光条件方面展现出巨大潜力，因为在低光条件下，基于RGB的分割由于较差的RGB成像质量而受到限制。RGB-T语义分割的关键在于有效利用RGB图像和热成像图像之间的互补性。现有的大多数算法通过连接、逐元素相加或注意力操作等方式在特征空间中融合RGB和热成像信息，这些方法通常以单向增强或双向聚合的形式进行。然而，它们通常忽略了在特征融合过程中RGB图像和热成像图像之间的模态差距，导致一种模态的模态特定信息污染另一种模态的信息。本文提出了一种通道和空间关系传播网络（Channel and Spatial Relation-Propagation Network, CSRPNet），用于RGB-T语义分割。该网络仅在不同模态之间传播共享信息，并缓解了模态特定信息污染的问题。CSRPNet首先在通道和空间维度上进行关系传播，以从RGB特征和热成像特征中捕获共享特征。然后，CSRPNet将从一种模态捕获到的共享特征与来自另一种模态的输入特征聚合，从而增强输入特征而不受污染问题的影响。在融合过程中，增强后的RGB和热成像特征还将分别输入后续的RGB或热成像特征提取层进行交互式特征融合。此外，我们引入了一种双路径级联特征精炼模块，该模块聚合多层特征以生成两个精炼特征，分别用于语义预测和边界预测。大量的实验结果表明，CSRPNet的表现优于现有最先进的算法。