2 个月前
FFJORD:用于可扩展可逆生成模型的自由形式连续动力学
Will Grathwohl; Ricky T. Q. Chen; Jesse Bettencourt; Ilya Sutskever; David Duvenaud

摘要
一类有前景的生成模型通过可逆神经网络将简单分布中的点映射到复杂分布中。基于似然性的训练方法要求限制这些模型的架构,以便能够高效计算雅可比行列式。作为替代方案,如果变换是由常微分方程指定的,则可以使用雅可比迹。在本文中,我们利用赫特奇斯迹估计器(Hutchinson's trace estimator)提供了一个可扩展且无偏的对数密度估计。结果是一个具有无偏密度估计和单次采样的连续时间可逆生成模型,同时允许不受限的神经网络架构。我们在高维密度估计、图像生成和变分推断中验证了该方法的有效性,在高效采样的条件下,其性能达到了精确似然方法中的最先进水平。