基于姿态的跨域互补学习在多人部位分割中的应用

监督深度学习在多人部位分割中取得了显著的成功，但像素级的数据标注非常昂贵。为了解决这一问题，研究人员一直在探索使用合成数据来避免人工标注。尽管生成合成数据的标签相对容易，但其结果远不如使用真实数据和人工标注的效果。性能下降的主要原因是域差距，即真实数据和合成数据之间像素值统计的差异。在本文中，我们观察到真实人物和合成人物都具有骨骼（姿态）表示。我们发现，在训练过程中，这些骨骼可以有效地弥合合成域和真实域之间的差距。我们提出的方法利用了真实数据丰富的现实变化以及合成数据易于获取的标签优势，在无需任何人工标注的情况下学习多人部位分割的真实图像。通过实验，我们展示了在Pascal-Person-Parts和COCO-DensePose数据集上，即使没有任何人工标注，我们的方法也能达到与几种需要人工标注的最先进方法相当的性能。另一方面，如果在训练过程中真实图像也提供了部位标签，我们的方法则大幅超越了监督学习的最先进方法。此外，我们在没有真实数据标签的新关键点检测任务中进一步验证了该方法的泛化能力。代码和预训练模型可在以下网址获取：https://github.com/kevinlin311tw/CDCL-human-part-segmentation