2 个月前

Norface:通过身份归一化改进面部表情分析

Liu, Hanwei ; An, Rudong ; Zhang, Zhimeng ; Ma, Bowen ; Zhang, Wei ; Song, Yan ; Hu, Yujing ; Chen, Wei ; Ding, Yu
Norface:通过身份归一化改进面部表情分析
摘要

面部表情分析仍然是一个具有挑战性的任务,主要原因是存在一些与任务无关的噪声,如身份、头部姿态和背景。为了解决这一问题,本文提出了一种新的框架,称为Norface,该框架统一了动作单元(AU)分析和面部情感识别(FER)任务。Norface由一个归一化网络和一个分类网络组成。首先,精心设计的归一化网络致力于直接消除上述与任务无关的噪声,通过保持面部表情的一致性,将所有原始图像归一化到具有相同身份、姿态和背景的共同标准。然后,这些额外的归一化图像被输入到分类网络中。由于身份和其他因素(例如头部姿态、背景等)的一致性,归一化图像使得分类网络能够更有效地提取有用的表达信息。此外,分类网络还结合了专家混合模型来优化潜在表示,包括处理面部特征的输入和多个(AU或情感)标签的输出。大量实验验证了该精心设计的框架在身份归一化方面的有效性。所提出的方法在多个面部表情分析任务中超越了现有的最先进方法,包括AU检测、AU强度估计和FER任务及其跨数据集任务。有关归一化数据集和代码,请访问 {https://norface-fea.github.io/}。

Norface:通过身份归一化改进面部表情分析 | 最新论文 | HyperAI超神经