宏-微对抗网络用于人体解析

在人体解析中，像素级分类损失存在低层次局部不一致性和高层次语义不一致性的问题。引入对抗网络通过单一判别器解决了这两个问题。然而，这两种解析不一致性是由不同的机制产生的，因此单个判别器难以同时解决它们。为了解决这两类不一致性，本文提出了一种宏观-微观对抗网络（Macro-Micro Adversarial Net, MMAN）。该网络包含两个判别器。其中一个判别器，称为宏观判别器（Macro D），作用于低分辨率标签图，惩罚语义不一致性，例如身体部位错位。另一个判别器，称为微观判别器（Micro D），专注于高分辨率标签图的多个区域，以解决局部不一致性，例如模糊和孔洞。与传统的对抗网络相比，MMAN不仅显式地强制局部和语义的一致性，还避免了对抗网络在处理高分辨率图像时出现的收敛不良问题。在实验中，我们验证了这两个判别器在提高人体解析精度方面具有互补作用。所提出的框架在性能上能够与现有最先进方法相媲美，分别在LIP和PASCAL-Person-Part数据集上达到了mIoU=46.81%和59.91%的指标。在一个相对较小的数据集PPSS上，我们的预训练模型展示了出色的泛化能力。代码已公开发布于 https://github.com/RoyalVane/MMAN。