ReGen : Apprentissage par renforcement pour la génération de texte et de base de connaissances à l’aide de modèles de langage pré-entraînés

La construction automatique de bases de connaissances (KB) pertinentes à partir de textes, ainsi que la génération de textes significatifs du point de vue sémantique à partir de KB, sont deux objectifs depuis longtemps poursuivis en apprentissage automatique. Dans cet article, nous présentons ReGen, un système de génération bidirectionnelle entre texte et graphe, qui exploite l’apprentissage par renforcement (RL) afin d’améliorer les performances. La linéarisation des graphes permet de reformuler les deux tâches comme un problème de génération séquentielle, indépendamment de la direction de génération. Cette reformulation ouvre la voie à l’utilisation de l’apprentissage par renforcement pour l’entraînement des séquences, où le modèle lui-même sert de critique, conduisant ainsi à une méthode d’entraînement auto-critique des séquences (Self-Critical Sequence Training, SCST). Nous présentons une étude approfondie démontrant que l’usage du RL via SCST améliore significativement la génération de graphes et de textes sur les jeux de données WebNLG+ 2020 et TekGen. Notre système atteint des résultats de pointe sur WebNLG+ 2020, en améliorant de manière notable les résultats publiés lors du défi WebNLG 2020+, pour les deux tâches de génération : texte vers graphe et graphe vers texte.