Une pénalité de gradient pas à pas avec calcul de similarité pour la génération de résumés textuels

Le modèle de génération de résumés doté d'une pénalité de gradient évite le surajustement et améliore la stabilité du modèle. Toutefois, la pénalité de gradient traditionnelle soulève deux problèmes : (i) le calcul du gradient deux fois augmente le temps d'entraînement, et (ii) le facteur de perturbation nécessite des essais répétés pour déterminer sa valeur optimale. A cet effet, nous proposons un modèle de pénalité de gradient par étapes avec calcul de similarité (S2SGP). Premièrement, la pénalité de gradient par étapes est appliquée au modèle de génération de résumés, réduisant efficacement le temps d'entraînement sans compromettre la précision. Deuxièmement, le score de similarité entre le résumé de référence et le résumé candidat est utilisé comme facteur de perturbation. Pour évaluer la performance de notre approche, nous menons des expériences sur quatre jeux de données de génération de résumés, dont le jeu de données EDUSum, nouvellement produit par nos soins. Les résultats expérimentaux montrent que S2SGP réduit efficacement le temps d'entraînement, et que les facteurs de perturbation n'ont pas besoin d'essais répétés. En particulier, notre modèle dépasse la méthode de référence de plus de 2,4 points ROUGE-L sur le jeu de données CSL.