17 天前

辅助深度生成模型

{Søren Kaae Sønderby, Casper Kaae Sønderby, Lars Maaløe, Ole Winther}
辅助深度生成模型
摘要

基于神经网络参数化的深度生成模型近期在无监督和半监督学习任务中取得了最先进的性能。本文通过引入辅助变量对深度生成模型进行扩展,从而提升了变分近似的能力。这些辅助变量不改变生成模型的结构,但使变分分布更具表达能力。受辅助变量结构的启发,我们进一步提出了一种包含两层随机变量并引入跳跃连接(skip connections)的模型架构。实验结果表明,更具表达能力且合理设定的深度生成模型能够实现更快的收敛速度和更优的性能表现。在MNIST、SVHN和NORB数据集上的半监督学习任务中,我们的方法达到了当前最优的实验结果。