18 天前

基于第一人称视角动作任务的手部姿态估计

{Zdenĕk Krňoul, Jakub Kanis, Marek Hrúz}
摘要

本文研究了从第一人称视角(egocentric viewpoint)下手部与各类物体交互时的手部姿态估计问题。该任务面临的主要挑战包括:物体频繁遮挡手部部分区域,以及手部自身造成的自遮挡。为此,我们采用体素到体素(Voxel-to-Voxel)的方法生成手部关节位置的候选假设,通过集成多个候选结果,并结合多种后处理策略以提升估计精度。我们引入了基于截断奇异值分解(Truncated Singular Value Decomposition, SVD)的先验手部姿态模型以及时间上下文信息,进一步优化手部关节的定位结果。通过消融实验,我们系统评估了各项后处理策略对最终性能的影响。基于所提出的方法,我们在HANDS19挑战赛任务2——“交互过程中基于深度的3D手部姿态估计”中取得了当前最先进的性能,对未见测试数据的估计精度达到33.09毫米。