基于全局与局部信息的遥感跨模态文本-图像检索

跨模态遥感图文检索（RSCTIR）近年来成为亟待攻克的研究热点，因其能够实现对遥感（RS）图像的快速、灵活信息提取。然而，现有的RSCTIR方法主要关注遥感图像的全局特征，忽视了反映目标间关系与显著性的局部特征。本文首次提出一种基于全局与局部信息融合的新型RSCTIR框架——GaLR，并设计了多层级信息动态融合（MIDF）模块，以高效整合不同层次的特征表示。MIDF模块通过局部信息修正全局信息，利用全局信息补充局部信息，并通过二者动态加权融合生成更具表现力的视觉表征。为缓解图卷积网络（GCN）在建模局部特征时面临的冗余目标压力，并增强模型对显著实例的关注能力，本文进一步提出去噪表示矩阵与增强邻接矩阵（DREA），以辅助GCN生成更优的局部特征表示。DREA不仅能够过滤掉高相似度的冗余特征，还能通过增强显著目标的特征表达，获取更具判别力的局部特征。此外，为在推理阶段充分挖掘相似性矩阵中的信息，本文提出一种即插即用的多变量重排序（MR）算法。该算法利用检索结果的k近邻进行反向搜索，并通过融合双向检索的多个组件，显著提升检索性能。在多个公开遥感数据集上的大量实验结果表明，GaLR框架在RSCTIR任务上达到了当前最先进的性能水平。本文已将GaLR方法、MR算法及相关代码文件开源，项目地址为：https://github.com/xiaoyuan1996/GaLR。