HyperAIHyperAI

Command Palette

Search for a command to run...

基于网格注意力与视觉Transformer的人脸表情识别

Fan Jiang Xizhe Wang Changqin Huang Qionghao Huang

摘要

面部表情识别(Facial Expression Recognition, FER)得益于卷积神经网络(Convolutional Neural Networks, CNN)的发展取得了显著进展。然而,由于CNN中的卷积滤波器依赖于局部空间特性,大多数神经网络层难以捕捉不同面部区域之间的长程依赖关系,从而限制了基于CNN的FER模型的性能。为解决这一问题,本文提出了一种新型的基于CNN的FER框架,该框架引入了两种注意力机制,分别用于低层特征学习与高层语义表示。具体而言,在低层特征学习阶段,本文提出一种基于网格的注意力机制,用于捕获面部表情图像中不同区域之间的依赖关系,从而对低层特征学习中卷积滤波器的参数更新进行有效正则化。在高层语义表示阶段,采用视觉Transformer注意力机制,利用由高层卷积层块生成的金字塔特征所提取的视觉语义令牌(visual semantic tokens)序列,学习全局上下文表示。在三个公开的面部表情数据集(CK+、FER+ 和 RAF-DB)上进行了大量实验。结果表明,所提出的FER-VT模型在这些数据集上均达到了当前最优的性能表现,尤其在CK+数据集上,仅使用原始训练数据而无需额外训练数据的情况下,实现了100%的识别准确率,显著优于现有方法。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供