EmotiCon：基于弗雷格原则的情境感知多模态情感识别

我们介绍了EmotiCon，一种基于学习的算法，用于从视频和图像中进行情境感知的人类情感识别。受心理学中的弗雷格情境原则（Frege's Context Principle）启发，我们的方法结合了三种情感识别的情境解释。第一种解释基于使用多种模态（例如面部表情和步态）进行情感识别。第二种解释是从输入图像中收集语义情境，并使用基于自注意力机制的卷积神经网络（CNN）对这些信息进行编码。最后，我们利用深度图来建模第三种与社会动态互动和代理之间距离相关的情境解释。我们在EMOTIC基准数据集上通过实验展示了我们网络的有效性。在26个类别中，我们报告了平均精度（AP）得分为35.48，比先前的方法提高了7-8个百分点。此外，我们还引入了一个新的数据集GroupWalk，该数据集包含在多个真实场景下拍摄的人群行走视频。我们在GroupWalk数据集上的4个类别中报告了AP得分为65.83，同样优于先前的方法。