2 个月前

基于细胞感知的堆叠LSTM模型用于句子建模

Jihun Choi; Taeuk Kim; Sang-goo Lee
基于细胞感知的堆叠LSTM模型用于句子建模
摘要

我们提出了一种堆叠多层长短时记忆(LSTM)网络的方法,用于建模句子。与传统的堆叠LSTM网络仅将隐藏状态作为输入传递给下一层不同,所建议的架构接受前一层的隐藏状态和记忆单元状态,并通过LSTM的软门机制融合来自左侧和下层上下文的信息。因此,该架构不仅在水平递归中调节信息量,还在垂直连接中进行调节,从而有效地将从低层提取的有用特征传递到高层。我们将这种架构称为细胞感知堆叠LSTM(Cell-aware Stacked LSTM, CAS-LSTM),并通过实验表明,我们的模型在自然语言推理、同义句检测、情感分类和机器翻译等基准数据集上显著优于标准LSTM模型。此外,我们还进行了广泛的定性分析,以深入了解所提议方法的内部行为。