16 天前

基于语义反馈的智能边缘传感器实现实时多视角三维人体姿态估计

Simon Bultmann, Sven Behnke
基于语义反馈的智能边缘传感器实现实时多视角三维人体姿态估计
摘要

我们提出了一种基于多相机系统的三维人体姿态估计算法,该方法结合分布式智能边缘传感器与后端处理单元,并通过语义反馈回路实现协同工作。每个相机视角的二维关节检测在专用嵌入式推理处理器上本地完成,仅将语义化的骨骼结构信息通过网络传输,原始图像则保留在传感器板上。三维姿态由中央后端基于二维关节检测结果,利用三角测量法与融合人体骨骼先验知识的体模型进行恢复。后端与各边缘传感器之间建立了基于语义层面的反馈通道:将全局的中心化三维姿态反投影至各传感器视角,并与本地的二维关节检测结果进行融合。由此,各传感器上的本地语义模型可借助全局上下文信息得到持续优化。整个系统具备实时运行能力。我们在三个公开数据集上对所提方法进行了评估,结果达到当前最优水平,并验证了反馈架构的有效性;此外,在自建的多人体实验环境中也取得了良好表现。实验表明,利用反馈信号能够显著提升二维关节检测精度,进而改善三维姿态估计的准确性。