17 天前

切片迭代归一化流

Biwei Dai, Uros Seljak
切片迭代归一化流
摘要

我们提出了一种迭代(贪心)的深度学习(DL)算法,能够将任意的概率分布函数(PDF)转换为目标分布函数。该模型基于一系列一维切片的迭代最优传输(Optimal Transport),在每一迭代步骤中,通过匹配各切片上的边缘分布与目标分布来实现。在每一步迭代中,切片的正交方向被选择为最大化当前分布与目标分布之间的Wasserstein距离,从而使得该算法在高维情形下仍能保持良好的可扩展性。作为该算法的两个特例,我们引入了两种切片迭代归一化流(Sliced Iterative Normalizing Flow, SINF)模型:一种是从数据空间映射到隐空间的GIS模型,另一种则是反向映射的SIG模型。实验表明,SIG模型能够生成高质量的图像数据样本,其性能可与生成对抗网络(GAN)基准相媲美;而GIS模型在密度估计任务上相较于基于密度训练的归一化流模型(NFs)表现出更具竞争力的结果,且在训练过程中更具稳定性、速度更快,并在小规模训练集上能够获得更高的数据似然值 $p(x)$。SINF方法显著偏离了当前深度学习的主流范式,其核心特点为贪心策略,且不依赖于诸如小批量训练(mini-batching)、随机梯度下降(stochastic gradient descent)以及深层网络中的梯度反向传播等传统概念。

切片迭代归一化流 | 最新论文 | HyperAI超神经