HTNet用于微表情识别

面部表情与面部肌肉收缩有关，不同的肌肉运动对应着不同的情感状态。对于微表情识别而言，肌肉运动通常非常细微，这对当前的面部情感识别算法的性能产生了负面影响。现有的大多数方法使用自注意力机制来捕捉序列中各个标记之间的关系，但它们并未考虑到面部标志点之间固有的空间关系。这可能导致在微表情识别任务上的次优表现。因此，学习如何识别面部肌肉运动成为微表情识别领域的关键挑战之一。本文提出了一种分层变压器网络（HTNet），用于识别面部肌肉运动的关键区域。HTNet 包含两个主要组件：一个利用局部时间特征的变压器层和一个提取局部和全局语义面部特征的聚合层。具体来说，HTNet 将面部划分为四个不同的区域：左唇区、左眼区、右眼区和右唇区。变压器层用于通过局部自注意力机制在每个区域内表示细微的局部肌肉运动。聚合层则用于学习眼区和唇区之间的相互作用。在四个公开可用的微表情数据集上的实验表明，所提出的这种方法显著优于先前的方法。代码和模型可在以下网址获取：\url{https://github.com/wangzhifengharrison/HTNet}