HyperAIHyperAI

Command Palette

Search for a command to run...

离散流:可逆生成模型的离散数据

Dustin Tran Keyon Vafa Kumar Krishna Agrawal Laurent Dinh Ben Poole

摘要

虽然正态流(normalizing flows)在建模高维连续分布方面取得了显著进展,但它们在离散分布中的应用仍不清楚。本文表明,实际上可以将流扩展到离散事件——并且只需使用一个简单的变量变换公式,而无需进行对数行列式雅可比计算。离散流具有广泛的应用前景。我们考虑了两种流架构:离散自回归流(discrete autoregressive flows),该架构支持双向性,例如,在精确的语言模型中,文本中的标记可以同时依赖于从左到右和从右到左的上下文;以及离散双线性流(discrete bipartite flows),该架构支持高效的非自回归生成,类似于RealNVP。实证结果表明,离散自回归流在合成离散分布、加法任务和Potts模型上优于自回归基线模型;而双线性流在Penn Tree Bank和text8数据集上的字符级语言建模任务中能够取得与自回归基线模型相当的性能。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供