16 天前

BioLay_AK_SS 在 BioLaySumm 上:用于生物医学通俗摘要生成的大语言模型的两阶段微调领域自适应方法

{Seba Susan, Akanksha Karotia}
BioLay_AK_SS 在 BioLaySumm 上:用于生物医学通俗摘要生成的大语言模型的两阶段微调领域自适应方法
摘要

通俗化摘要(Lay summarization)至关重要但极具挑战性,其目的在于将复杂的科学信息简化为非专业人士易于理解的形式,帮助公众及时了解最新的科学进展。在2024年ACL会议举办的“生物医学研究论文通俗化摘要共享任务”(Shared Task: Lay Summarization of Biomedical Research Articles @ BioNLP Workshop,Goldsack et al., 2024)中,我们对大语言模型(Large Language Models, LLMs)在生物医学文献抽象摘要生成任务中的表现进行了全面评估。评估基于主办方提供的eLife和PLOS数据集,采用涵盖相关性、可读性和事实准确性三个维度的十项指标进行量化分析。为此,我们提出了一种两阶段的生物医学文献通俗化摘要生成框架。第一阶段,基于给定数据集对BART和PEGASUS两类大语言模型进行微调,生成初步摘要。第二阶段,将第一阶段生成的多个摘要进行融合,并输入至BioBART模型中,随后在相同数据集上对BioBART进行进一步微调。实验结果表明,结合通用领域与领域特定的大语言模型,能够显著提升通俗化摘要的质量与整体性能。

BioLay_AK_SS 在 BioLaySumm 上:用于生物医学通俗摘要生成的大语言模型的两阶段微调领域自适应方法 | 最新论文 | HyperAI超神经