摘要
传统的情感识别技术主要集中在面部表情分析上，因此在编码全面反映情感反应的上下文方面能力有限。本文提出了一种用于上下文感知情感识别的深度网络，称为CAER-Net，该网络不仅利用了人类的面部表情，还通过联合和增强的方式利用了上下文信息。其核心思想是在视觉场景中隐藏人脸，并基于注意力机制寻找其他上下文信息。我们的网络由两个子网络组成，包括双流编码网络（two-stream encoding networks），分别提取人脸区域和上下文区域的特征，以及自适应融合网络（adaptive fusion networks），以自适应的方式融合这些特征。我们还引入了一个新的上下文感知情感识别基准数据集，称为CAER，无论从定性还是定量的角度来看，该数据集都比现有的基准数据集更为合适。在多个基准数据集上的实验结果证明了上下文信息对情感识别的有效性。我们的数据集可在以下网址获取：http://caer-dataset.github.io。