HyperAIHyperAI

Command Palette

Search for a command to run...

BRIO : Apporter un ordre à la synthèse abstraite

Yixin Liu Pengfei Liu Dragomir Radev Graham Neubig

Résumé

Les modèles de résumé abstrait sont généralement entraînés à l’aide de l’estimation du maximum de vraisemblance, qui suppose une distribution cible déterministe (à un seul point), selon laquelle un modèle idéal attribuerait toute la masse de probabilité au résumé de référence. Cette hypothèse peut entraîner une dégradation des performances lors de l’inférence, lorsque le modèle doit comparer plusieurs résumés générés par le système (résumés candidats) qui s’écartent du résumé de référence. Pour résoudre ce problème, nous proposons un nouveau paradigme d’entraînement fondé sur une distribution non déterministe, permettant d’attribuer une masse de probabilité aux différents résumés candidats en fonction de leur qualité. Notre méthode atteint un nouveau record sur les jeux de données CNN/DailyMail (47,78 ROUGE-1) et XSum (49,07 ROUGE-1). Une analyse complémentaire montre également que notre modèle est capable d’estimer les probabilités des résumés candidats de manière plus corrélée à leur niveau de qualité.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp