2 个月前

基于上下文嵌入和领域知识融合的生物医学问答模型加权

Yuxuan Lu; Jingya Yan; Zhixuan Qi; Zhongzheng Ge; Yongping Du
基于上下文嵌入和领域知识融合的生物医学问答模型加权
摘要

生物医学问答旨在从生物医学领域中获取给定问题的答案。由于该任务对生物医学领域知识有较高要求,模型很难从有限的训练数据中学习到这些知识。为此,我们提出了一种上下文嵌入方法,该方法结合了开放域问答模型(\aoa)和在生物医学领域数据上预训练的\biobert模型。我们采用了在大规模生物医学语料库上的无监督预训练以及在生物医学问答数据集上的有监督微调。此外,我们还引入了一个基于多层感知机(MLP)的模型加权层,以自动利用两种模型的优势来提供正确答案。我们的方法使用从PubMed语料库构建的公开数据集\biomrc进行评估。实验结果表明,我们的模型大幅超越了现有最先进系统的表现。

基于上下文嵌入和领域知识融合的生物医学问答模型加权 | 最新论文 | HyperAI超神经