17 天前

UPose3D:一种基于跨视角与时间线索的不确定性感知三维人体姿态估计方法

Vandad Davoodnia, Saeed Ghorbani, Marc-André Carbonneau, Alexandre Messier, Ali Etemad
UPose3D:一种基于跨视角与时间线索的不确定性感知三维人体姿态估计方法
摘要

我们提出UPose3D,一种新型的多视角3D人体姿态估计方法,旨在解决现有方法在精度与可扩展性方面的挑战。该方法通过提升现有姿态估计框架的鲁棒性与灵活性,实现了无需依赖直接3D标注的高性能3D姿态估计。其核心在于引入一个姿态编译(pose compiler)模块,该模块利用时间上下文信息与跨视角信息,对单张图像上的2D关键点估计器输出进行优化与细化。我们提出的新型跨视角融合策略具有良好的可扩展性,可适用于任意数量的摄像机配置;同时,基于合成数据生成的策略有效保障了模型在不同人物、场景和视角下的泛化能力。此外,UPose3D还融合了2D关键点估计器与姿态编译模块的预测不确定性,显著增强了对异常值和噪声数据的鲁棒性,从而在分布外(out-of-distribution)场景下实现了当前最优的性能表现。在分布内(in-distribution)场景下,UPose3D的性能可与依赖3D标注数据的方法相媲美,同时在仅依赖2D监督信号的方法中处于领先地位。

UPose3D:一种基于跨视角与时间线索的不确定性感知三维人体姿态估计方法 | 最新论文 | HyperAI超神经