2 个月前

GANSeg:通过无监督分层图像生成学习分割

Xingzhe He; Bastian Wandt; Helge Rhodin
GANSeg:通过无监督分层图像生成学习分割
摘要

将图像分割为其组成部分是高级视觉任务(如图像编辑)中常见的预处理步骤。然而,为监督训练标注掩码的成本较高。虽然存在弱监督和无监督方法,但这些方法依赖于多视图、视频帧或图像增强等成对图像的比较,这限制了它们的应用范围。为了解决这一问题,我们提出了一种基于生成对抗网络(GAN)的方法,该方法在潜在掩码的条件下生成图像,从而减轻了先前方法所需的完全或弱标注负担。我们证明,当以分层方式在定义部分位置的潜在关键点上条件化掩码时,可以忠实地学习这种掩码条件下的图像生成。这种方法无需掩码或关键点的监督,提高了对视角和物体位置变化的鲁棒性。此外,它还使我们能够生成用于训练分割网络的图像-掩码对,在既定基准测试中优于现有的无监督分割方法。