2 个月前

ELECTRAMed:一种新的用于生物医学自然语言处理的预训练语言表示模型

Giacomo Miolo; Giulio Mantoan; Carlotta Orsenigo
ELECTRAMed:一种新的用于生物医学自然语言处理的预训练语言表示模型
摘要

大量生物医学科学文献的需求促使开发有效的语言模型,以应对广泛的生物医学自然语言处理(NLP)任务。目前最主流的方法是领域特定模型,这些模型首先使用通用领域的文本数据进行初始化,然后在多种科学语料库上进行训练。然而,研究表明,在存在大规模语料库的专业领域中,仅使用领域内知识从头开始训练模型可能会获得更好的效果。此外,近期对预训练计算成本的关注不断增加,导致了更高效架构的设计,如ELECTRA。本文提出了一种预训练的领域特定语言模型——ELECTRAMed,适用于生物医学领域。该新方法继承了通用领域ELECTRA架构的学习框架及其计算优势。在多个生物医学NLP任务的基准数据集上进行的实验表明,ELECTRAMed具有实用性,并在BC5CDR语料库的命名实体识别任务中达到了新的最佳结果,在第7届BioASQ-事实挑战赛的问答任务中,在5次运行中的2次提供了最佳结果。

ELECTRAMed:一种新的用于生物医学自然语言处理的预训练语言表示模型 | 最新论文 | HyperAI超神经