面向未来的自监督注意力学习在方面级情感分析中的应用

在方面级情感分类（Aspect-Level Sentiment Classification, ASC）中，通常的做法是为占主导地位的神经模型配备注意力机制，以获取每个上下文词对给定方面的权重。然而，这种机制往往过度关注少数具有情感极性的高频词，而忽视了低频词。本文提出了一种用于神经ASC模型的渐进自监督注意力学习方法，该方法能够自动从训练语料库中挖掘有用的注意力监督信息来改进注意力机制。具体而言，我们对所有训练实例迭代进行情感预测。特别地，在每次迭代中，具有最大注意力权重的上下文词被提取出来，作为对每个实例正确/错误预测产生积极/误导影响的词，然后该词本身将在后续迭代中被屏蔽。最终，我们在传统的训练目标中增加了一个正则化项，这使得ASC模型能够在继续同等关注已提取的积极上下文词的同时降低那些误导性词的权重。多个数据集上的实验结果表明，我们提出的方法产生了更好的注意力机制，从而显著提升了两个最先进的神经ASC模型的表现。源代码和训练好的模型可在https://github.com/DeepLearnXMU/PSSAttention 获取。