BioLay_AK_SS sur BioLaySumm : Adaptation de domaine par une fine-tuning en deux étapes des LLM pour la génération de résumés populaires en biomédecine

La résumé vulgarisé est essentielle mais complexe, car elle simplifie les informations scientifiques afin de les rendre accessibles aux non-spécialistes tout en les tenant informés des dernières avancées scientifiques. Dans le cadre de notre participation à la Shared Task : Résumé vulgarisé d’articles de recherche biomédicale @ BioNLP Workshop (Goldsack et al., 2024), ACL 2024, nous avons mené une évaluation approfondie de la génération abstraite de résumés à partir de littérature biomédicale en utilisant des grands modèles linguistiques (LLM), en évaluant leurs performances à l’aide de dix métriques réparties en trois catégories : pertinence, lisibilité et fidélité factuelle, sur les jeux de données eLife et PLOS fournis par les organisateurs. Nous avons conçu un cadre en deux étapes pour la génération de résumés vulgarisés d’articles scientifiques biomédicaux. Dans la première étape, nous avons généré des résumés à l’aide des modèles LLM BART et PEGASUS, après les avoir fine-tunés sur les jeux de données fournis. Dans la seconde étape, nous avons combiné les résumés générés et les avons soumis à BioBART, avant de le fine-tuner à nouveau sur les mêmes données. Nos résultats montrent qu’une combinaison de modèles LLM généraux et spécialisés dans le domaine améliore significativement les performances.