基于内容感知的无监督深度单应性估计

单应性估计是众多应用中一种基础的图像对齐方法。传统方法通常通过提取并匹配稀疏特征点来实现，但在低光照或低纹理图像中，该方法易受误差影响。另一方面，以往的深度单应性估计方法要么依赖合成图像进行监督学习，要么基于航拍图像进行无监督学习，均未充分考虑真实场景中深度差异和运动物体带来的挑战。为克服上述问题，本文提出一种新型无监督深度单应性估计方法，并设计了相应的网络架构。受传统RANSAC算法思想的启发，我们特别学习一个异常值掩码，仅选择可信区域用于单应性估计。与以往直接比较图像内容不同，我们基于所学习的深度特征计算损失。为实现无监督训练，我们还设计了一种专用于本网络的新型三元组损失（triplet loss）。通过在一个新构建的数据集上进行广泛对比实验，该数据集涵盖了多种场景及不同难度级别，验证了所提方法的有效性。实验结果表明，该方法在性能上优于当前最先进的深度学习方法及基于特征的方法。