HyperAIHyperAI

Command Palette

Search for a command to run...

Étude des modèles de langage préentraînés pour la génération de texte à partir de graphes

Leonardo F. R. Ribeiro; Martin Schmitt; Hinrich Schütze; Iryna Gurevych

Résumé

La génération de texte à partir de graphes vise à produire des textes fluides à partir de données basées sur des graphes. Dans cet article, nous examinons deux modèles de langage préentraînés (PLM) récemment proposés et analysons l'impact de différentes stratégies de préentraînement adaptatif aux tâches pour les PLM dans la génération de texte à partir de graphes. Nous présentons une étude couvrant trois domaines de graphes : représentations sémantiques, graphes de connaissances (KG) de Wikipédia et graphes de connaissances scientifiques. Nous montrons que les PLMs BART et T5 atteignent de nouveaux résultats d'état de l'art et que les stratégies de préentraînement adaptatif aux tâches améliorent encore davantage leurs performances. En particulier, nous rapportons des scores BLEU d'état de l'art nouveaux, respectivement de 49,72 sur LDC2017T10, 59,70 sur WebNLG et 25,66 sur le jeu de données AGENDA - soit une amélioration relative respective de 31,8 %, 4,5 % et 42,4 %. Dans une analyse approfondie, nous identifions les raisons possibles du succès des PLMs dans les tâches de génération de texte à partir de graphes. Nous trouvons des preuves que leur connaissance des faits véritables les aide à bien performer même lorsque la représentation du graphe en entrée est réduite à un simple sac d'étiquettes de nœuds et d'arêtes.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp