1 个月前

MaCow:掩码卷积生成流

Xuezhe Ma; Xiang Kong; Shanghang Zhang; Eduard Hovy
MaCow:掩码卷积生成流
摘要

基于流的生成模型由于其在精确对数似然计算和潜在变量推断方面的可处理性,以及训练和采样过程中的高效性,已经取得了许多令人印象深刻的实证成功,并衍生出许多先进的变体和理论研究。尽管这些模型具有计算效率高的优势,但它们在密度估计性能上仍显著落后于最先进的自回归模型。在这项工作中,我们引入了一种简单而有效的生成流架构——掩码卷积生成流(MaCow),该架构利用了掩码卷积。通过限制小内核中的局部连接性,MaCow不仅具备快速稳定的训练和高效的采样能力,还在标准图像基准测试中实现了比Glow更为显著的密度估计改进,大幅缩小了与自回归模型之间的差距。