17 天前

MaGNET:无需微调的深度生成网络流形上均匀采样

Ahmed Imtiaz Humayun, Randall Balestriero, Richard Baraniuk
MaGNET:无需微调的深度生成网络流形上均匀采样
摘要

深度生成网络(Deep Generative Networks, DGNs)被广泛应用于生成对抗网络(GANs)、变分自编码器(VAEs)及其各类变体中,用于近似数据流形与数据分布。然而,由于数据采集成本或便利性等因素,训练样本在流形上的分布往往呈现非均匀性。例如,CelebA数据集包含大量微笑的人脸样本。这种分布不均的问题在训练完成后通过采样时会被复现,这在某些应用场景下并不理想,例如在追求公平性或数据增强时。为此,我们提出MaGNET——一种新颖且具有理论依据的潜在空间采样方法,适用于任意预训练的DGN,能够生成在学习到的流形上均匀分布的样本。我们在多个数据集和DGN模型上进行了广泛实验,例如在基于FFHQ数据集训练的先进模型StyleGAN2上,采用MaGNET进行均匀采样,使分布精度(precision)和召回率(recall)分别提升4.1%和3.0%,同时将性别偏见降低41.2%,且无需标签信息或重新训练模型。由于均匀分布并不等同于语义分布的均匀性,我们进一步独立研究了在MaGNET采样下生成样本的语义属性变化情况。