2 个月前

HumanBench:通过投影辅助预训练实现通用的人类中心感知

Shixiang Tang; Cheng Chen; Qingsong Xie; Meilin Chen; Yizhou Wang; Yuanzheng Ci; Lei Bai; Feng Zhu; Haiyang Yang; Li Yi; Rui Zhao; Wanli Ouyang
HumanBench:通过投影辅助预训练实现通用的人类中心感知
摘要

以人类为中心的感知任务包括多种视觉任务,这些任务在工业界有广泛的应用,例如监控、自动驾驶和元宇宙。为了实现多用途的人类中心下游任务,需要有一个通用的预训练模型。本文从基准测试和预训练方法两个方面推进了这一目标。具体而言,我们基于现有数据集提出了一个HumanBench,用于全面评估不同预训练方法在6个不同的下游任务中的泛化能力,这些任务涉及19个数据集,包括人员重识别(Person ReID)、姿态估计、人体解析、行人属性识别、行人检测和人群计数。为了学习人体的粗粒度和细粒度知识,我们进一步提出了一种投射器辅助层次化预训练方法(PATH),该方法能够在不同的粒度级别上学习多样化的知识。在HumanBench上的综合评估表明,我们的PATH在17个下游数据集上取得了新的最先进结果,在另外2个数据集上也达到了相当的结果。代码将在[https://github.com/OpenGVLab/HumanBench]公开发布。注释:- Person ReID:人员重识别- PATH:投射器辅助层次化预训练方法(Projector Assisted Hierarchical pretraining method)

HumanBench:通过投影辅助预训练实现通用的人类中心感知 | 最新论文 | HyperAI超神经