2 个月前

利用语义分割改进面部属性预测

Kalayeh, Mahdi M. ; Gong, Boqing ; Shah, Mubarak
利用语义分割改进面部属性预测
摘要

属性是指在语义上具有重要意义的特征,其适用范围广泛跨越类别边界。它们在描述和识别没有明确训练示例的概念时尤为重要,例如零样本学习(zero-shot learning)。此外,由于属性可以用人类语言描述,因此它们可以用于高效的人机交互。本文提出利用语义分割来改进面部属性预测。核心思想在于许多面部属性描述的是局部特性。换句话说,一个属性出现在人脸图像中的概率在空间域内并非均匀分布。我们构建了一个结合深度语义分割网络的面部属性预测模型。该模型利用语义分割所学到的定位线索,引导属性预测对不同属性自然出现的区域给予更多关注。通过这种方法,除了实现识别功能外,我们还能够在训练过程中仅依赖图像级标签(弱监督)的情况下对属性进行定位。我们在CelebA和LFWA数据集上评估了所提出的方法,并取得了优于现有技术的结果。此外,我们还展示了在逆问题中,当有面部属性可用时,语义人脸解析的效果会得到提升。这进一步证实了联合建模这两个相互关联任务的必要性。

利用语义分割改进面部属性预测 | 最新论文 | HyperAI超神经