HyperAIHyperAI
il y a 2 mois

Modèles de Transformers pour l'évaluation de la cohérence textuelle

Tushar Abhishek; Daksh Rawat; Manish Gupta; Vasudeva Varma
Modèles de Transformers pour l'évaluation de la cohérence textuelle
Résumé

La cohérence est un aspect important de la qualité du texte et est cruciale pour assurer sa lisibilité. Elle est essentielle pour les sorties des systèmes de génération de texte tels que la résumation, le réponse aux questions, la traduction automatique, la génération de questions, la conversion de tableaux en texte, etc. Un modèle de notation automatisée de la cohérence est également utile pour l'évaluation des essais ou la fourniture de commentaires sur l'écriture. De nombreuses études précédentes ont exploité des méthodes basées sur les entités, des modèles syntaxiques, des relations discursives et plus récemment des architectures d'apprentissage profond traditionnelles pour évaluer la cohérence du texte. Cependant, ces travaux souffrent de limitations telles que l'incapacité à gérer les dépendances à longue portée, les mots hors vocabulaire ou à modéliser l'information séquentielle. Nous formulons l'hypothèse que l'évaluation de la cohérence est une tâche cognitivement complexe qui nécessite des modèles plus profonds et peut bénéficier d'autres tâches connexes. En conséquence, dans cet article, nous proposons quatre architectures différentes basées sur le Transformer pour cette tâche : le Transformer classique (vanilla Transformer), le Transformer hiérarchique (hierarchical Transformer), un modèle d'apprentissage multi-tâches (multi-task learning-based model) et un modèle avec une représentation d'entrée basée sur les faits (fact-based input representation). Nos expériences menées sur des jeux de données de référence populaires dans plusieurs domaines et sur quatre tâches différentes d'évaluation de la cohérence montrent que nos modèles obtiennent des résultats de pointe, surpassant les modèles existants avec une marge considérable.