摘要
本文提出了一种利用配对的RGB和热图像进行玻璃分割的新方法。由于可见光和热能通过玻璃时的传输特性存在较大差异，大多数玻璃对可见光是透明的，但对热能则是不透明的，因此在场景中，使用一对RGB和热图像比单独使用RGB图像更能区分出玻璃区域。为了充分利用这一独特特性，我们提出了一种神经网络架构，该架构通过一个新的基于注意力机制的多模态融合模块有效结合了RGB-热图像对，并集成了卷积神经网络（CNN）和变压器（Transformer），分别用于提取局部特征和非局部依赖关系。此外，我们还收集了一个包含5551对带有真实分割注释的RGB-热图像的新数据集。定性和定量评估均表明，所提出的融合RGB和热数据的方法在玻璃分割方面具有有效性。我们的代码和数据可在https://github.com/Dong-Huo/RGB-T-Glass-Segmentation 获取。