LEAPS: 一种基于连续时间马尔可夫链的离散分布神经采样算法(“离散扩散”)
研究团队开发了一种名为LEAPS(Locally Equivariant discrete Annealed Proactive Sampler,局部等价离散退火主动采样器)的新型采样方法,旨在通过连续时间马尔可夫链(CTMCs)高效地从离散分布中进行采样。LEAPS结合了非平衡动力学的理论基础和基于神经网络的学习,构建了一条从易于采样的初始分布到目标分布的时间依赖概率路径。其核心创新在于设计了一种遵循预定路径的CTMC,通过主动重要性采样和局部等价神经网络实现高效采样。 LEAPS的核心组件包括主动重要性采样、局部等价神经网络和物理信息神经网络目标。局部等价神经网络通过单次前向传播计算重要性权重,避免了传统方法的高计算成本。研究团队证明了LEAPS的无偏估计和普遍表达性,并展示了其在2D Ising模型上的优异表现,包括高有效样本量和低方差。LEAPS不仅在理论上sound,而且在实践中高效,能够处理高维离散空间,结合传统MCMC方法,提供更好的混合特性。 该研究为从离散分布中采样的高维设置提供了显著进步,未来方向包括扩展到同时采样多个分布和应用于其他概率建模任务。
