HyperAIHyperAI

Command Palette

Search for a command to run...

SummaReranker : un cadre de ré-ordonnancement à multi-tâches basé sur un mélange d'experts pour la synthèse abstraite

Mathieu Ravaut Shafiq Joty Nancy F. Chen

Résumé

Les réseaux neuronaux séquence-à-séquence ont récemment connu un grand succès dans la synthèse abstraite, notamment grâce au fine-tuning de grands modèles linguistiques pré-entraînés sur des jeux de données spécifiques. Ces modèles sont généralement décodés à l’aide d’une recherche en faisceau (beam search) afin de produire un résumé unique. Toutefois, l’espace de recherche est très vaste, et la biais d’exposition associé à cette méthode de décodage n’est pas optimale. Dans cet article, nous montrons qu’il est possible d’entraîner directement un modèle de deuxième étape, chargé de ré-évaluer un ensemble de candidats de résumé. Notre modèle SummaReranker, basé sur une approche de mélange d’experts, apprend à sélectionner un candidat de meilleure qualité, améliorant ainsi de manière cohérente les performances du modèle de base. En utilisant comme base PEGASUS, nous améliorons les scores ROUGE de 5,44 % sur CNN-DailyMail (47,16 ROUGE-1), de 1,31 % sur XSum (48,12 ROUGE-1) et de 9,34 % sur Reddit TIFU (29,83 ROUGE-1), atteignant ainsi un nouveau record d’état de l’art. Le code source et les points de contrôle seront disponibles à l’adresse suivante : https://github.com/ntunlp/SummaReranker.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp