2 个月前

无监督基于部件的对象形状和外观解缠

Dominik Lorenz; Leonard Bereska; Timo Milbich; Björn Ommer
无监督基于部件的对象形状和外观解缠
摘要

类内大变异是由多个对象特征的变化引起的。然而,图像仅显示了不同可变因素(如外观或形状)的叠加效果。因此,学习如何解耦并表示这些不同的特征是一项巨大挑战,尤其是在无监督情况下。此外,大范围的对象变形需要一个灵活的基于部件的模型。本文提出了一种无监督方法,通过在类别中所有实例上一致地学习部件来解耦外观和形状。我们的对象表示模型通过同时利用合成变换图像之间的不变性和等变性约束进行训练。由于不需要任何部件注释或对象类别的先验信息,该方法适用于任意类别。我们在多种对象类别和多样化的任务上评估了该方法,包括姿态预测、解耦图像合成和视频到视频翻译。实验结果表明,该方法在无监督关键点预测方面优于现有最先进方法,在形状和外观迁移任务上也与有监督方法具有竞争力。