2 个月前

研究个体:自监督结构敏感学习及人体解析的新基准

Ke Gong; Xiaodan Liang; Dongyu Zhang; Xiaohui Shen; Liang Lin
研究个体:自监督结构敏感学习及人体解析的新基准
摘要

人体解析近年来因其巨大的应用潜力而吸引了大量研究兴趣。然而,现有的数据集在图像数量和注释方面存在局限性,缺乏对不同人体外观和复杂环境下的挑战性案例的多样性覆盖。本文中,我们介绍了一个新的基准“Look into Person (LIP)”,该基准在可扩展性、多样性和难度方面取得了显著进展,我们认为这对于未来以人为中心的分析领域的研究至关重要。这一全面的数据集包含超过50,000张精心标注的图像,涵盖19个语义部位标签,这些图像从更广泛的视角、遮挡情况和背景复杂度中捕捉而来。基于这些丰富的注释,我们对领先的人体解析方法进行了详细分析,深入了解了这些方法的成功与失败之处。此外,与现有提高特征区分能力的努力不同,我们通过探索一种新颖的自监督结构敏感学习方法来解决人体解析问题,该方法在不依赖额外监督(即无需在模型训练中专门标注人体关节)的情况下将人体姿态结构融入解析结果中。我们的自监督学习框架可以嵌入任何先进的神经网络中,帮助从全局角度整合丰富的人体关节高级知识并改进解析结果。我们在LIP和公共PASCAL-Person-Part数据集上的广泛评估证明了我们方法的优势。