Échelle de la synthèse : Exploitation des grands modèles linguistiques pour la synthèse extractive de longs textes

À une époque où le texte numérique prolifère à un rythme sans précédent, les outils de résumé efficaces deviennent indispensables. Bien que les grands modèles linguistiques (LLMs) aient été appliqués avec succès dans diverses tâches de traitement du langage naturel (NLP), leur rôle dans le résumé textuel extractif reste sous-exploité. Cet article présente EYEGLAXS (Easy Yet Efficient larGe LAnguage model for eXtractive Summarization), un cadre qui utilise des LLMs, en particulier LLAMA2-7B et ChatGLM2-6B, pour le résumé extractif de documents textuels longs. Contrairement aux méthodes abstraitives, qui souffrent souvent de problèmes tels que des inexactitudes factuelles et des hallucinations, EYEGLAXS se concentre sur le résumé extractif afin d'assurer l'intégrité factuelle et grammaticale. En utilisant des techniques de pointe comme l'Attention Flash et le Fine-Tuning Paramétrique Efficace (PEFT), EYEGLAXS répond aux défis computationnels et de ressources généralement associés aux LLMs. Le système établit de nouveaux standards de performance sur des jeux de données bien connus tels que PubMed et ArXiv. De plus, nous étendons nos recherches par des analyses supplémentaires explorant l'adaptabilité des LLMs à la gestion de différentes longueurs de séquences et leur efficacité dans l'apprentissage sur des jeux de données plus petits. Ces contributions non seulement fixent un nouveau standard dans le domaine mais ouvrent également des perspectives prometteuses pour les futures recherches en résumé textuel extractif.