JointGT : Apprentissage conjoint de représentations graphiques et textuelles pour la génération de texte à partir de graphes de connaissances

Les modèles pré-entraînés existants pour la génération de texte à partir de graphes de connaissances (KG-to-text) se contentent d'ajuster les modèles pré-entraînés de texte à texte tels que BART ou T5 sur des ensembles de données KG-to-text, ce qui ignore largement la structure du graphe lors de l'encodage et manque de tâches d'pré-entraînement élaborées pour modéliser explicitement les alignements graphe-texte. Pour résoudre ces problèmes, nous proposons un modèle d'apprentissage conjoint de représentation graphe-texte appelé JointGT. Lors de l'encodage, nous avons conçu un module d'agrégation sémantique sensible à la structure qui est intégré dans chaque couche Transformer afin de préserver la structure du graphe. De plus, nous proposons trois nouvelles tâches d'pré-entraînement visant à améliorer explicitement l'alignement graphe-texte, notamment la reconstruction respective du texte / du graphe et l'alignement graphe-texte dans l'espace d'embedding par le biais du Transport Optimal. Les expériences montrent que JointGT obtient des performances inédites sur divers ensembles de données KG-to-text.