语义分割在自动驾驶和机器人感知等广泛应用中发挥着重要作用。传统方法主要依赖于RGB图像，这些图像极易受到光照条件（如黑暗）的影响。近期研究表明，热成像在夜间场景中表现出较强的鲁棒性，可以作为RGB图像分割的补充模态。然而，现有的研究要么简单地融合RGB-热（RGB-T）图像，要么为RGB流和热流采用相同结构的编码器，这忽视了不同模态在变化光照条件下进行分割时的差异。因此，本研究提出了一种残差空间融合网络（Residual Spatial Fusion Network, RSFNet），用于RGB-T语义分割。具体而言，我们采用非对称编码器来学习RGB图像和热图像的补偿特征。为了有效融合双模态特征，我们通过显著性检测生成伪标签以监督特征学习，并开发了具有结构重参数化的残差空间融合（Residual Spatial Fusion, RSF）模块，通过空间融合跨模态特征来学习更有前景的特征。RSF模块采用层次特征融合策略聚合多级特征，并利用带有残差连接的空间权重通过置信门自适应控制多光谱特征融合。我们在两个基准数据集上进行了大量实验，即MFNet数据库和PST900数据库。实验结果表明，我们的方法在分割性能方面达到了最先进的水平，并且在准确性和速度之间取得了良好的平衡。