HyperAIHyperAI

Command Palette

Search for a command to run...

Un Modèle Renforcé Profond pour la Synthèse Abstraite

Romain Paulus Caiming Xiong Richard Socher

Résumé

Les modèles de codage-décodage basés sur les RNN et utilisant l'attention pour la génération de résumés abstraits ont obtenu de bons résultats sur des séquences d'entrée et de sortie courtes. Cependant, pour des documents et des résumés plus longs, ces modèles incluent souvent des phrases répétitives et incohérentes. Nous présentons un modèle de réseau neuronal doté d'une nouvelle attention interne qui porte séparément sur l'entrée et la sortie générée en continu, ainsi qu'une nouvelle méthode d'entraînement combinant l'apprentissage supervisé standard de prédiction de mots et l'apprentissage par renforcement (RL). Les modèles entraînés uniquement avec l'apprentissage supervisé présentent souvent un biais d'exposition ("exposure bias") - ils supposent que la vérité terrain est fournie à chaque étape pendant l'entraînement. Cependant, lorsque la prédiction standard de mots est combinée à l'entraînement de prédiction globale de séquence par RL, les résumés générés deviennent plus lisibles. Nous évaluons ce modèle sur les jeux de données CNN/Daily Mail et New York Times. Notre modèle atteint un score ROUGE-1 de 41,16 sur le jeu de données CNN/Daily Mail, une amélioration par rapport aux modèles précédents considérés comme étant à l'état de l'art. Une évaluation humaine montre également que notre modèle produit des résumés de meilleure qualité.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Un Modèle Renforcé Profond pour la Synthèse Abstraite | Articles | HyperAI