HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

Apprendre à copier à partir de l'histoire de copie : Réseau de copie corrélative pour la synthèse abstraite

{BoWen Zhou Xiaodong He Youzheng Wu Yujia Wang Peng Yuan Song Xu Haoran Li}

Apprendre à copier à partir de l'histoire de copie : Réseau de copie corrélative pour la synthèse abstraite

Résumé

Le mécanisme de copie a connu un succès considérable dans la synthèse abstraite, permettant aux modèles de copier directement des mots du texte d’entrée dans le résumé de sortie. Les travaux existants s’appuient principalement sur l’attention encodeur-décodeur, qui applique la copie à chaque pas de temps de manière indépendante des précédents. Toutefois, cette approche peut parfois entraîner une copie incomplète. Dans cet article, nous proposons un nouveau schéma de copie nommé Réseau de Copie Corrélationnel (CoCoNet), qui améliore le mécanisme standard de copie en tenant compte de l’historique de copie. Ce mécanisme exploite ainsi les distributions de copie antérieures et, à chaque pas de temps, encourage explicitement le modèle à copier le mot d’entrée pertinent par rapport à celui qui a été copié précédemment. En outre, nous renforçons CoCoNet grâce à un pré-entraînement sur des corpus adaptés, qui simulent les comportements de copie. Les résultats expérimentaux montrent que CoCoNet permet une copie plus précise et atteint de nouvelles performances de pointe sur des benchmarks de synthèse, notamment CNN/DailyMail pour la synthèse de nouvelles et SAMSum pour la synthèse de dialogues. Le code source et les checkpoints seront rendus disponibles publiquement.

Benchmarks

BenchmarkMéthodologieMétriques
abstractive-text-summarization-on-cnn-dailyCoCoNet + CoCoPretrain
ROUGE-1: 44.50
ROUGE-2: 21.55
ROUGE-L: 41.24
abstractive-text-summarization-on-cnn-dailyCoCoNet
ROUGE-1: 44.39
ROUGE-2: 21.41
ROUGE-L: 41.05

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Apprendre à copier à partir de l'histoire de copie : Réseau de copie corrélative pour la synthèse abstraite | Articles de recherche | HyperAI