HyperAIHyperAI

Command Palette

Search for a command to run...

Échelle de la synthèse : Exploitation des grands modèles linguistiques pour la synthèse extractive de longs textes

Léo Hemamou; Mehdi Debiane

Résumé

À une époque où le texte numérique prolifère à un rythme sans précédent, les outils de résumé efficaces deviennent indispensables. Bien que les grands modèles linguistiques (LLMs) aient été appliqués avec succès dans diverses tâches de traitement du langage naturel (NLP), leur rôle dans le résumé textuel extractif reste sous-exploité. Cet article présente EYEGLAXS (Easy Yet Efficient larGe LAnguage model for eXtractive Summarization), un cadre qui utilise des LLMs, en particulier LLAMA2-7B et ChatGLM2-6B, pour le résumé extractif de documents textuels longs. Contrairement aux méthodes abstraitives, qui souffrent souvent de problèmes tels que des inexactitudes factuelles et des hallucinations, EYEGLAXS se concentre sur le résumé extractif afin d'assurer l'intégrité factuelle et grammaticale. En utilisant des techniques de pointe comme l'Attention Flash et le Fine-Tuning Paramétrique Efficace (PEFT), EYEGLAXS répond aux défis computationnels et de ressources généralement associés aux LLMs. Le système établit de nouveaux standards de performance sur des jeux de données bien connus tels que PubMed et ArXiv. De plus, nous étendons nos recherches par des analyses supplémentaires explorant l'adaptabilité des LLMs à la gestion de différentes longueurs de séquences et leur efficacité dans l'apprentissage sur des jeux de données plus petits. Ces contributions non seulement fixent un nouveau standard dans le domaine mais ouvrent également des perspectives prometteuses pour les futures recherches en résumé textuel extractif.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp