摘要
面部动作单元（AU）检测和面部对齐是两个高度相关的任务，因为面部标志点可以提供精确的动作单元位置，有助于提取用于AU检测的有意义的局部特征。现有的大多数AU检测工作通常将面部对齐视为预处理步骤，并独立处理这两个任务。本文提出了一种新颖的端到端深度学习框架，用于联合进行AU检测和面部对齐，这是此前未被探索过的。具体而言，首先学习多尺度共享特征，然后将面部对齐的高层次特征输入到AU检测中。此外，为了提取精确的局部特征，我们提出了一种自适应注意力学习模块，以自适应地优化每个AU的注意力图。最后，组合后的局部特征与面部对齐特征和全局特征相结合，用于AU检测。在BP4D和DISFA基准数据集上的实验表明，我们的框架在AU检测方面显著优于现有最先进方法。