2 个月前

ContextFlow++:基于流的生成模型中的混合变量上下文编码通用专家模型

Denis Gudovskiy; Tomoyuki Okuno; Yohei Nakata
ContextFlow++:基于流的生成模型中的混合变量上下文编码通用专家模型
摘要

基于归一化流的生成模型在需要精确密度估计的应用中得到了广泛的应用。近期的研究提出了多种方法来提高这些模型的表达能力。然而,在双射流研究中,基于上下文的条件化仍是一个被忽视的领域。传统的向量拼接条件化方法仅适用于少数几种流类型。更重要的是,这种方法无法支持一种实用设置,即在固定预训练的一般知识(通才)模型基础上训练一组上下文条件化的(专家)模型。我们提出了一种ContextFlow++方法,通过加性条件化和显式的通才-专家知识解耦来克服这些限制。此外,我们通过提出的混合变量架构和上下文编码器支持离散上下文。特别是,我们的离散变量上下文编码器是一种满射流,从中可以采样得到上下文条件化的连续变量。我们在旋转MNIST-R、损坏的CIFAR-10C、实际的ATM预测维护以及SMAP无监督异常检测基准上的实验表明,所提出的ContextFlow++方法提供了更快且稳定的训练过程,并实现了更高的性能指标。我们的代码已公开发布在https://github.com/gudovskiy/contextflow。

ContextFlow++:基于流的生成模型中的混合变量上下文编码通用专家模型 | 最新论文 | HyperAI超神经