摘要
在我们的日常生活中和社会互动中，我们经常试图感知他人的情绪状态。为了赋予机器类似的情绪识别能力，已经进行了大量的研究。从计算机视觉的角度来看，大多数先前的研究主要集中在分析面部表情，有时也包括身体姿态。这些方法在特定环境中表现出色，但在自然、不受限制的环境中，其性能受到限制。心理学研究表明，除了面部表情和身体姿态之外，场景上下文也为人们的情绪感知提供了重要信息。然而，由于缺乏适当的数据，自动情绪识别中的上下文处理尚未得到深入探索。本文介绍了EMOTIC数据集，该数据集包含了一系列处于各种自然情境中的人的图像，并标注了他们表现出来的情绪。EMOTIC数据集结合了两种不同的情绪表示方法：（1）26个离散类别集合；（2）连续维度：价态（Valence）、唤醒度（Arousal）和支配度（Dominance）。我们还对数据集进行了详细的统计和算法分析，并对标注者的共识进行了评估。利用EMOTIC数据集，我们训练了不同的卷积神经网络（CNN）模型进行情绪识别，结合了包含人的边界框信息以及从场景中提取的上下文信息。实验结果表明，场景上下文为自动识别情绪状态提供了重要信息，并激励了在此方向上的进一步研究。数据集和代码已开源并可访问：https://github.com/rkosti/emotic；同行评审发表的文章链接：https://ieeexplore.ieee.org/document/8713881