2 个月前

双曲表示学习在快速高效的神经网络问答中的应用

Yi Tay; Luu Anh Tuan; Siu Cheung Hui
双曲表示学习在快速高效的神经网络问答中的应用
摘要

在问题回答检索中,主流的神经架构基于配置了复杂单词匹配层的循环编码器或卷积编码器。鉴于最近的架构创新主要集中在新的单词交互层或基于注意力的匹配机制上,这些组件对于实现良好性能似乎是不可或缺的事实。然而,这些复杂机制带来的内存和计算成本对于实际应用来说是不理想的。因此,本文探讨了是否可以通过简单的神经架构实现具有竞争力的性能。我们提出了一种简单而新颖的深度学习架构,用于快速高效的问题-答案排名和检索。具体而言,我们提出的模型\textsc{HyperQA}是一种参数高效的神经网络,在多个问答基准测试中优于其他参数密集型模型,如注意池化双向长短期记忆网络(Attentive Pooling BiLSTMs)和多视角卷积神经网络(Multi-Perspective CNNs)。\textsc{HyperQA}的新颖之处在于其配对排名目标函数,该函数在双曲空间而不是欧几里得空间中建模问题和答案嵌入之间的关系。这赋予了我们的模型自组织能力,并在学习问题和答案嵌入时能够自动发现潜在层次结构。我们的模型不需要特征工程、相似度矩阵匹配、复杂的注意力机制或过度参数化的层,但在多个基准测试中仍然优于并保持与许多具备这些功能的模型相当的竞争力。