学习基于多维边缘特征的面部动作单元关系图以实现面部动作单元识别

面部动作单元（AUs）的激活状态相互影响。尽管一对AUs之间的关系可能复杂且独特，现有的方法未能为每个面部表情中的每对AUs具体且明确地表示这些线索。本文提出了一种AU关系建模方法，通过深度学习生成一个独特的图，以明确描述目标面部表情中每对AUs之间的关系。我们的方法首先将每个AU的激活状态及其与其他AUs的关联编码为节点特征。然后，它学习一组多维边特征，以描述每对AUs之间多个任务特定的关系线索。在节点和边特征学习过程中，我们的方法还考虑了特定面部表情对AUs关系的影响，通过将整个面部表示作为输入。在BP4D和DISFA数据集上的实验结果表明，节点和边特征学习模块显著提升了基于CNN和变压器的骨干网络的性能，我们的最佳系统达到了最先进的AU识别结果。我们的方法不仅在建模AU识别的关系线索方面具有强大的能力，还可以轻松集成到各种骨干网络中。我们已开源了PyTorch代码。