使用去噪密度估计器学习生成模型

在无监督机器学习中，学习能够估计给定样本集密度并从中生成新样本的概率模型，是一项基础性挑战。本文提出一种基于去噪密度估计器（Denoising Density Estimators, DDEs）的新生成模型。DDEs 是由神经网络参数化的标量函数，能够高效地拟合数据的核密度估计。基于DDEs，本文的主要贡献是一种通过直接最小化KL散度来构建生成模型的新型技术。我们证明了该生成模型求解算法能够保证收敛至正确解。与需要特定网络结构的归一化流（normalizing flows）方法，以及依赖常微分方程求解器的连续归一化流（continuous normalizing flows）不同，本方法无需特定架构，也无需求解微分方程。实验结果表明，该方法在密度估计方面取得了显著提升，并在生成模型训练中表现出具有竞争力的性能。