联合任务自监督学习用于时间对应关系建模

本文提出了一种在无监督条件下从视频中学习可靠密集对应关系的方法。我们的学习过程融合了两个高度相关任务：跟踪大尺度图像区域，以及建立连续视频帧之间的细粒度像素级关联。通过共享的帧间亲和矩阵，我们充分利用了这两个任务之间的协同效应，该矩阵能够同时在区域级和像素级上建模视频帧之间的动态变化。其中，区域级定位通过缩小匹配搜索范围，有效降低了细粒度匹配中的歧义性；而细粒度匹配则提供自下而上的特征表示，进一步促进区域级定位的准确性。在多种视觉对应任务上，包括视频对象与部件分割传播、关键点跟踪以及目标跟踪，我们的方法均优于当前最先进的无监督学习方法。更值得注意的是，该无监督方法的亲和特征表示性能甚至超越了在ImageNet上使用ResNet-18预训练得到的全监督特征表示。