摘要
数据融合网络在RGB-热红外场景解析中展现出显著潜力。然而，大多数现有研究依赖于对称双路编码器进行异构特征提取和融合，未能充分关注RGB和热红外模态之间的固有差异。近期，通过自监督方法在大量未标记数据上训练的视觉基础模型（Vision Foundation Models, VFMs）已经证明了其提取信息丰富、通用性强的特征的能力。然而，这一潜力尚未在该领域得到充分利用。本研究朝着这一新的研究方向迈出了一步，探索了一种可行策略，以充分利用VFM特征进行RGB-热红外场景解析。具体而言，我们深入探讨了RGB和热红外模态的独特特性，设计了一个混合非对称编码器，结合了VFM和卷积神经网络。这种设计使得异构互补特征的提取更加有效，并且这些特征随后以双路径渐进的方式进行融合。此外，我们引入了一个辅助任务，进一步丰富了融合特征的局部语义，从而提高了RGB-热红外场景解析的整体性能。我们提出的HAPNet集成了所有这些组件，在三个广泛使用的公共RGB-热红外场景解析数据集上均表现出优于其他最先进网络的性能，并取得了最高排名。我们认为这一新范式为未来的数据融合场景解析方法的发展开辟了新的机遇。