基于上下文相关的域对抗神经网络的多模态情感识别

情感识别由于说话人个体差异以及训练样本稀缺等问题，仍是一项复杂任务。为应对这些挑战，本文聚焦于域对抗神经网络（Domain Adversarial Neural Networks, DANN）在情感识别中的应用。主要任务是预测情感标签，次要任务则是学习一种共享表征，使得说话人身份无法被区分。通过该方法，可使不同说话人的特征表示更加接近。同时，在训练过程中利用未标注数据，有效缓解了低资源训练样本带来的不利影响。值得注意的是，已有研究发现，上下文信息与多模态特征对情感识别具有重要意义。然而，以往基于DANN的方法往往忽视了这些信息，从而限制了其性能表现。为此，本文提出一种面向多模态情感识别的上下文相关域对抗神经网络（Context-Dependent Domain Adversarial Neural Network）。为验证所提方法的有效性，我们在基准数据集IEMOCAP上进行了实验。实验结果表明，该方法相较当前最先进的技术，取得了3.48%的绝对性能提升。