一种基于扩散模型的野外3D人体姿态预测通用方法

在真实场景中预测三维人体姿态（即人体姿态预测）不可避免地会受到噪声输入的影响，这些噪声主要来源于三维姿态估计的不准确以及遮挡问题。为应对这些挑战，我们提出了一种基于扩散模型的方法，能够对给定的噪声观测进行预测。我们将预测任务建模为一个去噪问题，将观测序列与预测序列统一视为包含缺失元素的单一序列（无论缺失部分出现在观测阶段还是预测阶段）。所有缺失元素均被视为噪声，并通过我们提出的条件扩散模型进行去噪处理。为进一步提升长期预测性能，我们设计了一种时间级联扩散模型。我们在四个公开可用的数据集（Human3.6M、HumanEva-I、AMASS 和 3DPW）上验证了该方法的有效性，结果优于当前最先进的方法。此外，我们还证明了该框架具有较强的通用性，可作为预处理步骤修复任意三维姿态预测模型的输入，也可作为后处理步骤优化其输出，从而提升现有模型的整体性能。代码已公开：\url{https://github.com/vita-epfl/DePOSit}。