摘要
基于能量的模型（Energy-Based Models, EBMs）近年来在建模小尺寸图像的复杂分布方面取得了显著成功。然而，从EBM中采样需要代价高昂的马尔可夫链蒙特卡洛（Markov Chain Monte Carlo, MCMC）迭代，在高维像素空间中收敛速度缓慢。与EBM不同，变分自编码器（Variational Autoencoders, VAEs）能够快速生成样本，并具备潜在空间结构，支持对数据流形的高效遍历。但VAEs往往在真实数据分布之外的区域赋予较高的概率密度，且在生成清晰图像方面表现不佳。本文提出VAEBM，一种VAE与EBM的协同融合模型，兼具两者的优势。VAEBM利用先进的VAE捕捉数据分布的整体模态结构，同时借助其EBM组件显式排除非数据类区域，从而对生成的图像样本进行精细化优化。此外，VAEBM中的VAE组件使得我们能够通过在VAE的潜在空间中重参数化MCMC更新，显著加速采样过程。实验结果表明，VAEBM在多个基准图像数据集上，生成质量显著优于当前最先进的VAE与EBM模型。该模型可生成尺寸高达256×256像素的高质量图像，且仅需较短的MCMC链即可完成。我们还验证了VAEBM能够实现完整的模态覆盖，并在分布外样本检测任务中表现优异。源代码已公开，获取地址为：https://github.com/NVlabs/VAEBM。