HyperAIHyperAI

Command Palette

Search for a command to run...

HTNet用于微表情识别

Zhifeng Wang Kaihao Zhang Wenhan Luo Ramesh Sankaranarayana

摘要

面部表情与面部肌肉收缩有关,不同的肌肉运动对应着不同的情感状态。对于微表情识别而言,肌肉运动通常非常细微,这对当前的面部情感识别算法的性能产生了负面影响。现有的大多数方法使用自注意力机制来捕捉序列中各个标记之间的关系,但它们并未考虑到面部标志点之间固有的空间关系。这可能导致在微表情识别任务上的次优表现。因此,学习如何识别面部肌肉运动成为微表情识别领域的关键挑战之一。本文提出了一种分层 Transformer 网络(HTNet),用于识别面部肌肉运动的关键区域。HTNet 包含两个主要组件:一个利用局部时间特征的 Transformer 层和一个提取局部和全局语义面部特征的聚合层。具体来说,HTNet 将面部划分为四个不同的区域:左唇区、左眼区、右眼区和右唇区。 Transformer 层用于通过局部自注意力机制在每个区域内表示细微的局部肌肉运动。聚合层则用于学习眼区和唇区之间的相互作用。在四个公开可用的微表情数据集上的实验表明,所提出的这种方法显著优于先前的方法。代码和模型可在以下网址获取:\url{https://github.com/wangzhifengharrison/HTNet}


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供