17 天前

DyREx:用于抽取式问答的动态查询表示

Urchade Zaratiana, Niama El Khbir, Dennis Núñez, Pierre Holat, Nadi Tomeh, Thierry Charnois
DyREx:用于抽取式问答的动态查询表示
摘要

抽取式问答(Extractive Question Answering, ExQA)是自然语言处理领域的一项关键任务。当前主流的ExQA方法通常采用预训练的Transformer模型对输入序列(即问题和文本段落)进行编码,随后利用两个可学习的查询向量,分别计算答案起始位置和结束位置的概率分布。然而,这些查询向量缺乏对输入上下文的感知,可能成为制约模型性能的瓶颈。为解决这一问题,我们提出了一种对传统方法的泛化模型——DyREx。该方法通过在Transformer层中引入注意力机制,根据输入内容动态生成查询向量,从而更好地捕捉上下文信息。实验结果表明,与标准方法相比,DyREx在多个基准数据集上均能持续提升性能。相关代码及实验运行文件已公开,可访问 https://github.com/urchade/DyReX 获取。