2 个月前
变形自编码器:无监督解缠形状和外观
Zhixin Shu; Mihir Sahasrabudhe; Alp Guler; Dimitris Samaras; Nikos Paragios; Iasonas Kokkinos

摘要
在这项工作中,我们引入了变形自编码器(Deforming Autoencoders),这是一种生成模型,能够在无监督的情况下将图像中的形状与外观分离。类似于可变形模板范式,形状被表示为规范坐标系(“模板”)与观察到的图像之间的变形,而外观则在规范的模板坐标中建模,从而消除了由于变形引起的变异性。我们引入了新的技术,使得这一方法可以在自编码器的框架下得以应用,并展示了该方法可以用于无监督的群体图像对齐。我们通过实验展示了在人类表情、手部和数字图像上的形态变换,以及面部操作,如形状和外观插值,还进行了无监督地标定位。在模板坐标中实现了一种更为强大的无监督分离形式,使我们能够成功地将面部图像分解为阴影和反照率,并进一步操纵面部图像。