HyperAIHyperAI

Command Palette

Search for a command to run...

面向未来的自监督注意力学习在方面级情感分析中的应用

Jialong Tang Ziyao Lu Jinsong Su Yubin Ge Linfeng Song Le Sun Jiebo Luo

摘要

在方面级情感分类(Aspect-Level Sentiment Classification, ASC)中,通常的做法是为占主导地位的神经模型配备注意力机制,以获取每个上下文词对给定方面的权重。然而,这种机制往往过度关注少数具有情感极性的高频词,而忽视了低频词。本文提出了一种用于神经ASC模型的渐进自监督注意力学习方法,该方法能够自动从训练语料库中挖掘有用的注意力监督信息来改进注意力机制。具体而言,我们对所有训练实例迭代进行情感预测。特别地,在每次迭代中,具有最大注意力权重的上下文词被提取出来,作为对每个实例正确/错误预测产生积极/误导影响的词,然后该词本身将在后续迭代中被屏蔽。最终,我们在传统的训练目标中增加了一个正则化项,这使得ASC模型能够在继续同等关注已提取的积极上下文词的同时降低那些误导性词的权重。多个数据集上的实验结果表明,我们提出的方法产生了更好的注意力机制,从而显著提升了两个最先进的神经ASC模型的表现。源代码和训练好的模型可在https://github.com/DeepLearnXMU/PSSAttention 获取。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供