BAD：用于文本到动作生成的双向自回归扩散模型

自回归模型在通过施加因果约束来建模序列依赖方面表现出色，但由于其单向性质，难以捕捉复杂的双向模式。相比之下，基于掩码的模型利用了双向上下文，能够实现更丰富的依赖建模。然而，它们在预测过程中通常假设标记独立，这削弱了序列依赖的建模能力。此外，通过掩码或吸收对序列进行破坏可能会引入不自然的扭曲，从而复杂化学习过程。为了解决这些问题，我们提出了一种新的方法——双向自回归扩散（BAD），该方法结合了自回归和基于掩码的生成模型的优点。BAD 使用一种基于排列的破坏技术，在保持自然序列结构的同时通过随机排序施加因果依赖，从而有效捕捉序列和双向关系。全面的实验表明，BAD 在文本到动作生成任务中优于自回归和基于掩码的模型，这表明了一种新的预训练策略可用于序列建模。BAD 的代码库可在 https://github.com/RohollahHS/BAD 获取。