2 个月前
CrOC:用于密集视觉表示学习的跨视图在线聚类
Stegmüller, Thomas ; Lebailly, Tim ; Bozorgtabar, Behzad ; Tuytelaars, Tinne ; Thiran, Jean-Philippe

摘要
无标签学习密集视觉表示是一项艰巨的任务,尤其是从以场景为中心的数据中进行学习。我们提出了一种带有在线聚类机制的跨视图一致性目标(CrOC),用于发现和分割视图的语义。在没有手工制作先验的情况下,该方法更具泛化能力,并且不需要繁琐的预处理步骤。更重要的是,聚类算法同时作用于两个视图的特征,从而优雅地绕过了内容在两个视图中未完全表示以及对象从一个裁剪区域到另一个裁剪区域匹配模糊的问题。我们在多个数据集上展示了该方法在线性和无监督分割传输任务中的优异性能,并且在视频对象分割任务中也表现出了类似的效果。我们的代码和预训练模型已公开发布在 https://github.com/stegmuel/CrOC。