17 天前

基于通道无关嵌入与匈牙利注意力的深度图匹配学习

{Runzhong Wang, Junchi Yan, Baoxin Li, Tianshu Yu}
基于通道无关嵌入与匈牙利注意力的深度图匹配学习
摘要

图匹配旨在建立两幅图之间的节点级对应关系,这是一个经典的组合优化问题,通常为NP完全问题。直到最近,基于深度学习的图匹配方法才开始借助深度神经网络实现前所未有的匹配精度。沿着这一研究方向,本文提出了两项互补性的贡献,且这些贡献可作为插件模块集成到现有方法中:i)提出一种新颖的节点与边嵌入策略,该策略借鉴了注意力模型中的多头机制,使得各通道内的信息能够独立融合;相比之下,以往方法仅考虑节点嵌入;ii)设计了一种通用的损失函数掩码机制,以提升图匹配目标函数学习过程的平滑性。结合匈牙利算法,该方法能够动态构建一个结构化且稀疏连接的层,将最具贡献的匹配对作为硬注意力(hard attention)加以保留。实验结果表明,所提方法在三个公开基准数据集上表现出具有竞争力的匹配精度,同时可作为插件模块有效提升现有最先进方法的性能。