16 天前
SHOT-VAE:具有标签感知ELBO近似的半监督深度生成模型
Hao-Zhe Feng, Kezhi Kong, Minghao Chen, Tianye Zhang, Minfeng Zhu, Wei Chen

摘要
半监督变分自编码器(Semi-supervised Variational Autoencoders, VAEs)已取得显著成果,但同时也面临一个关键挑战:优异的ELBO(证据下界)值并不总能保证准确的推断结果。本文深入探究并提出该问题的两个主要原因:(1)ELBO目标函数无法直接利用标签信息;(2)存在一个“瓶颈值”——在该值之后继续优化ELBO将不再提升推断准确性。基于实验分析,本文提出SHOT-VAE方法,以在不引入额外先验知识的前提下解决上述问题。SHOT-VAE主要贡献如下:(1)提出一种新的ELBO近似方法——smooth-ELBO,将标签预测损失融入ELBO目标中,从而有效利用监督信号;(2)基于最优插值的近似方法,通过缩小ELBO与数据似然之间的差距,打破ELBO值的瓶颈限制。实验结果表明,SHOT-VAE在CIFAR-100数据集上仅使用10,000个标签时,即可实现25.30%的错误率;在CIFAR-10数据集上使用4,000个标签时,错误率进一步降低至6.11%,展现出卓越的半监督学习性能。