AiOS: 一站式表达性人体姿态和形状估计

表达性人体姿态和形状估计（又称3D全身网格恢复）涉及人体、手部和表情的估计。现有的大多数方法都以两阶段的方式处理这一任务，首先使用现成的检测模型检测人体部位，然后分别推断不同的身体部位。尽管这些方法取得了令人印象深刻的结果，但它们存在以下问题：1) 通过裁剪损失了宝贵的上下文信息；2) 引入了干扰因素；3) 缺乏不同人物和身体部位之间的相互关联，这不可避免地导致性能下降，尤其是在拥挤场景中。为了解决这些问题，我们提出了一种新颖的一阶段框架——AiOS，用于多人表达性人体姿态和形状恢复，无需额外的人体检测步骤。具体而言，我们的方法基于DETR构建，该方法将多人全身网格恢复任务视为带有各种顺序检测的渐进式集合预测问题。我们设计了解码器令牌并将其扩展到我们的任务中。首先，我们使用一个人体令牌来探测图像中的人体位置，并为每个实例编码全局特征，为后续的变压器块提供粗略的位置信息。然后，我们引入了一个关节相关令牌来探测图像中的人体关节，并编码细粒度的局部特征，该特征与全局特征协同作用以回归整个身体网格。这一简洁而有效的方法在AGORA数据集上将NMVE降低了9%，在EHF数据集上将PVE降低了30%，在ARCTIC数据集上将PVE降低了10%，在EgoBody数据集上将PVE降低了3%。