BiPO：双向部分遮挡网络用于文本到动作合成

从文本描述生成自然且富有表现力的人体动作是一项挑战，因为这需要协调全身动态并捕捉长时间序列中细微的动作模式，以准确反映给定的文本。为了解决这一问题，我们提出了一种新的模型——BiPO（双向部分遮挡网络），用于文本到动作合成。该模型通过结合基于部分的生成方法与双向自回归架构，增强了文本到动作的合成效果。这种结合使得BiPO在生成过程中可以同时考虑过去和未来的上下文，同时在不需要真实运动长度的情况下增强对各个身体部位的详细控制。为了缓解因结合而引起的各身体部位之间的相互依赖性，我们设计了部分遮挡技术，该技术在训练过程中以概率方式遮挡某些运动部分的信息。在我们的全面实验中，BiPO在HumanML3D数据集上取得了最先进的性能，在FID分数和整体动作质量方面超越了近期的方法如ParCo、MoMask和BAMM。值得注意的是，BiPO不仅在文本到动作生成任务中表现出色，在基于部分生成的动作序列和文本描述进行动作编辑的任务中也表现出色。这些结果揭示了BiPO在推进文本到动作合成方面的有效性及其在实际应用中的潜力。