BioM-Transformers：基于BERT、ALBERT与ELECTRA构建大型生物医学语言模型

设计选择对生物医学语言模型性能的影响近期已成为研究热点。本文通过实验方法，探讨了在大型Transformer模型中采用不同设计选择进行生物医学领域适配的效果。我们对所训练的预训练模型在多个生物医学任务上的表现进行了评估，并与文献中已有的其他生物医学语言模型进行了对比。结果表明，尽管我们的模型在计算成本上与文献中其他模型相当甚至更低，但在多个生物医学任务上仍取得了当前最优（state-of-the-art）的性能表现。研究结果凸显了设计选择在提升生物医学语言模型性能方面的重要作用。