多尺度匹配网络用于语义对应

深度特征在以往的多项研究中已被证明在构建精确的密集语义对应关系方面具有强大能力。然而，卷积神经网络所具有的多尺度与金字塔式层次结构尚未得到充分研究，以学习具有判别性的像素级特征用于语义对应。本文提出一种对邻近像素间微小语义差异敏感的多尺度匹配网络。我们采用自粗到细的匹配策略，并构建了一种与深层卷积神经网络多尺度层次结构相耦合的自顶向下的特征增强与匹配优化机制。在特征增强过程中，层内增强通过局部自注意力机制融合多层同分辨率的特征图，而层间增强则沿自顶向下的层次结构生成更高分辨率的特征图，实现特征的“幻觉”式重构。此外，我们在不同尺度上学习互补的匹配细节，使得整体匹配得分能够逐步由不同语义层次的特征进行优化。所提出的多尺度匹配网络可轻松实现端到端训练，且仅引入少量可学习参数。实验结果表明，该方法在三个主流基准测试上均取得了当前最优性能，并展现出高效的计算效率。