HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

Une pénalité de gradient pas à pas avec calcul de similarité pour la génération de résumés textuels

{Shuai Zhao}

Résumé

Le modèle de génération de résumés doté d'une pénalité de gradient évite le surajustement et améliore la stabilité du modèle. Toutefois, la pénalité de gradient traditionnelle soulève deux problèmes : (i) le calcul du gradient deux fois augmente le temps d'entraînement, et (ii) le facteur de perturbation nécessite des essais répétés pour déterminer sa valeur optimale. A cet effet, nous proposons un modèle de pénalité de gradient par étapes avec calcul de similarité (S2SGP). Premièrement, la pénalité de gradient par étapes est appliquée au modèle de génération de résumés, réduisant efficacement le temps d'entraînement sans compromettre la précision. Deuxièmement, le score de similarité entre le résumé de référence et le résumé candidat est utilisé comme facteur de perturbation. Pour évaluer la performance de notre approche, nous menons des expériences sur quatre jeux de données de génération de résumés, dont le jeu de données EDUSum, nouvellement produit par nos soins. Les résultats expérimentaux montrent que S2SGP réduit efficacement le temps d'entraînement, et que les facteurs de perturbation n'ont pas besoin d'essais répétés. En particulier, notre modèle dépasse la méthode de référence de plus de 2,4 points ROUGE-L sur le jeu de données CSL.

Benchmarks

BenchmarkMéthodologieMétriques
abstractive-text-summarization-on-edusumSeq2seq
ROUGE-1: 48.62
ROUGE-2: 32.32
ROUGE-L: 44.13
abstractive-text-summarization-on-edusumNEZHA
ROUGE-1: 63.91
ROUGE-2: 51.88
ROUGE-L: 61.00
abstractive-text-summarization-on-edusumBERT
ROUGE-1: 62.37
ROUGE-2: 50.70
ROUGE-L: 59.40
abstractive-text-summarization-on-edusumRoBERTa
ROUGE-1: 63.22
ROUGE-2: 51.34
ROUGE-L: 60.26
abstractive-text-summarization-on-edusumGP_Step_Sim
ROUGE-1: 64.48
ROUGE-2: 52.70
ROUGE-L: 61.91

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Une pénalité de gradient pas à pas avec calcul de similarité pour la génération de résumés textuels | Articles de recherche | HyperAI