2 个月前

FineGAN:细粒度对象生成与发现的无监督层次解缠

Krishna Kumar Singh; Utkarsh Ojha; Yong Jae Lee
FineGAN:细粒度对象生成与发现的无监督层次解缠
摘要

我们提出了一种新的无监督生成对抗网络(GAN)框架——FineGAN,该框架能够将背景、物体形状和物体外观解耦,从而分层次地生成细粒度物体类别的图像。为了在没有监督的情况下解耦这些因素,我们的关键思想是利用信息论将每个因素与一个潜在代码关联起来,并以特定的方式条件化这些代码之间的关系,以诱导所需的层次结构。通过大量的实验,我们展示了FineGAN能够实现所需的解耦效果,生成属于鸟类、犬类和汽车等细粒度类别的逼真且多样的图像。此外,利用FineGAN自动学习到的特征,我们还首次尝试解决无监督细粒度物体类别发现这一新问题,对真实图像进行了聚类。我们的代码、模型和演示可以在https://github.com/kkanshul/finegan 获取。