2 个月前

Flow++:通过变分去量化和架构设计改进基于流的生成模型

Jonathan Ho; Xi Chen; Aravind Srinivas; Yan Duan; Pieter Abbeel
Flow++:通过变分去量化和架构设计改进基于流的生成模型
摘要

基于流的生成模型是一种强大的精确似然模型,具有高效的采样和推理能力。尽管其计算效率较高,但基于流的模型在密度建模性能方面通常远不如最先进的自回归模型。在本文中,我们研究并改进了先前工作中基于流的模型所采用的三个限制性设计选择:用于去量化(dequantization)的均匀噪声、表现力不足的仿射流(affine flows)以及耦合层中仅使用卷积条件网络。根据我们的研究结果,我们提出了Flow++,这是一种新的基于流的模型,目前已成为标准图像基准测试中无条件密度估计的最佳非自回归模型。我们的工作开始缩小迄今为止自回归模型与基于流的模型之间存在的显著性能差距。我们的实现代码可在https://github.com/aravindsrinivas/flowpp 获取。