深度神经网络增强：生成用于情感分析的面部图像

本文提出了一种新颖的方法，用于合成面部表情；既可以生成六种基本表情（即愤怒、厌恶、恐惧、快乐、悲伤和惊讶），也可以根据情感效价（即情绪的正负程度）和唤醒度（即情绪激活的程度）来生成。该方法接受以下输入：i) 一个人的中性二维图像；ii) 要生成的基本面部表情或一对效价-唤醒度 (VA) 情感状态描述符，或者在二维 VA 空间中要生成的情感路径作为图像序列。为了针对此人合成基于 VA 的情感，从 4DFAB 数据库中注释了 600,000 帧。情感合成为实现过程包括：首先在中性图像上拟合一个三维可变形模型，然后对重建的脸部进行变形并添加输入的情感，最后将带有新情感的脸部与原始图像融合。定性实验展示了当从中性图像采样自十三个知名的实验室控制或自然场景数据库（包括 Aff-Wild、AffectNet 和 RAF-DB）时，生成的图像具有较高的真实感；与生成对抗网络 (GANs) 的比较表明，所提出的方法在图像质量方面取得了更高的成就。随后进行了定量实验，其中使用合成图像对深度神经网络进行数据增强训练，以在所有数据库上执行情感识别；与现有最先进方法以及基于 GAN 的数据增强相比，在所有情况下均显著提高了性能。