用于用户生成视频中情感识别的端到端视听注意力网络

在用户生成的视频中进行情感识别在以人为中心的计算中发挥着重要作用。现有的方法主要采用传统的两阶段浅层管道，即提取视觉和/或音频特征并训练分类器。本文提出了一种基于卷积神经网络（CNNs）的端到端视频情感识别方法。具体而言，我们开发了一种深度视觉-音频注意力网络（Visual-Audio Attention Network, VAANet），这是一种新颖的架构，将空间、通道和时间注意力机制整合到一个视觉3D CNN中，并将时间注意力机制整合到一个音频2D CNN中。此外，我们设计了一种特殊的分类损失函数，即基于极性-情感层次约束的极性一致交叉熵损失函数，以指导注意力机制的生成。我们在具有挑战性的VideoEmotion-8和Ekman-6数据集上进行了广泛的实验，结果表明所提出的VAANet在视频情感识别方面优于现有最先进的方法。我们的源代码已发布在：https://github.com/maysonma/VAANet。