17 天前

单张彩色图像下的遮挡人体形状与姿态估计

{ Yangang Wang, Buzhen Huang, Tianshu Zhang}
单张彩色图像下的遮挡人体形状与姿态估计
摘要

在实际应用中,人体与物体之间的遮挡,尤其是人-物体交互活动中的遮挡现象极为常见。然而,现有的大多数三维人体形状与姿态估计方法通常假设人体能够被完整捕捉,或仅存在轻微的自遮挡。本文聚焦于从单张彩色图像中直接估计被物体遮挡的人体形状与姿态这一难题。我们的核心思想是利用部分UV图(partial UV map)来表征被物体遮挡的人体,从而将完整的三维人体形状估计问题转化为图像修复(image inpainting)问题。为此,我们提出了一种新颖的双分支网络架构,通过潜在特征监督训练端到端回归器,并引入一个新型显著性图子网络,用于从被遮挡的彩色图像中提取人体信息。为支持网络训练,我们进一步构建了一个名为3DOH50K的新数据集。通过一系列实验验证了所提方法的有效性。实验结果表明,与现有方法相比,本方法在性能上达到了当前最优水平。相关数据集与代码已公开,可访问 https://www.yangangwang.com 获取。