BioLay_AK_SS im Rahmen von BioLaySumm: Domänenanpassung durch zweistufiges Feinabstimmen von Large Language Models zur Generierung biomedizinischer Laiensummen

Die Erstellung von populärwissenschaftlichen Zusammenfassungen ist entscheidend, aber herausfordernd, da sie wissenschaftliche Informationen für Laien verständlich macht und sie über die neuesten wissenschaftlichen Erkenntnisse auf dem Laufenden hält. Bei unserer Teilnahme am Shared Task: Lay Summarization of Biomedical Research Articles @ BioNLP Workshop (Goldsack et al., 2024), ACL 2024, führten wir eine umfassende Evaluation der abstraktiven Zusammenfassung biomedizinischer Literatur mittels Großmodellen für Sprachverarbeitung (Large Language Models, LLMs) durch und bewerteten die Leistungsfähigkeit mit zehn Metriken aus drei Kategorien: Relevanz, Lesbarkeit und Faktengenauigkeit, basierend auf den von den Organisatoren bereitgestellten Datensätzen eLife und PLOS. Wir entwickelten einen zweistufigen Ansatz für die Erstellung populärwissenschaftlicher Zusammenfassungen biomedizinischer Forschungsartikel. Im ersten Schritt generierten wir Zusammenfassungen mithilfe der LLMs BART und PEGASUS, indem wir diese anhand der gegebenen Datensätze fine-tunten. Im zweiten Schritt kombinierten wir die generierten Zusammenfassungen und gaben sie als Eingabe an BioBART, das anschließend an denselben Datensätzen fine-tunten wurde. Unsere Ergebnisse zeigen, dass die Kombination allgemeiner und fachspezifischer LLMs die Gesamtleistung signifikant verbessert.