2 个月前

强化自注意力网络:序列建模中硬注意力和软注意力的混合模型

Tao Shen; Tianyi Zhou; Guodong Long; Jing Jiang; Sen Wang; Chengqi Zhang
强化自注意力网络:序列建模中硬注意力和软注意力的混合模型
摘要

许多自然语言处理任务仅依赖于句子中少数几个词之间的稀疏依赖关系。软注意力机制通过每两个词之间软概率的方式在建模局部/全局依赖关系方面展现出良好的性能,但在应用于长句子时效果不佳且效率低下。相比之下,硬注意力机制直接选择一个子集的词,但由于其组合性质,训练起来较为困难且效率不高。本文中,我们将软注意力和硬注意力集成到一个上下文融合模型“强化自注意力(ReSA)”中,以实现两者之间的相互促进。在ReSA中,硬注意力对序列进行修剪,以便软自注意力进行处理;而软自注意力则通过反馈奖励信号来促进硬注意力的训练。为此,我们开发了一种新的硬注意力机制——“强化序列采样(RSS)”,该机制并行选择词并通过策略梯度进行训练。利用两个RSS模块,ReSA高效地提取了每对选定词之间的稀疏依赖关系。最后,我们提出了一种无需RNN/CNN的句子编码模型——“强化自注意力网络(ReSAN)”,完全基于ReSA构建。该模型在斯坦福自然语言推理(SNLI)数据集和涉及组合知识的句子(SICK)数据集上均达到了最先进的性能。