变分概率融合网络用于RGB-T语义分割

RGB-T语义分割通过融合RGB图像和热图像的不同模态特征，已被广泛应用于处理光照条件较差的复杂场景。现有的方法试图找到一种最优的融合特征用于分割，这导致了对模态噪声、类别不平衡和模态偏差的敏感性。为了解决这些问题，本文提出了一种新颖的变分概率融合网络（VPFNet），该网络将融合特征视为随机变量，并通过对多个融合特征样本下的分割结果进行平均来获得鲁棒的分割效果。VPFNet中融合特征的随机样本生成是通过基于变分注意力设计的一种新颖的变分特征融合模块（VFFM）实现的。为了进一步避免类别不平衡和模态偏差，我们采用了加权交叉熵损失，并引入了光照和类别的先验信息来控制所提出的VFFM。在MFNet和PST900数据集上的实验结果表明，所提出的VPFNet可以实现最先进的分割性能。