HyperAIHyperAI

Command Palette

Search for a command to run...

ReGen : Apprentissage par renforcement pour la génération de texte et de base de connaissances à l’aide de modèles de langage pré-entraînés

Pierre L. Dognin Inkit Padhi Igor Melnyk Payel Das

Résumé

La construction automatique de bases de connaissances (KB) pertinentes à partir de textes, ainsi que la génération de textes significatifs du point de vue sémantique à partir de KB, sont deux objectifs depuis longtemps poursuivis en apprentissage automatique. Dans cet article, nous présentons ReGen, un système de génération bidirectionnelle entre texte et graphe, qui exploite l’apprentissage par renforcement (RL) afin d’améliorer les performances. La linéarisation des graphes permet de reformuler les deux tâches comme un problème de génération séquentielle, indépendamment de la direction de génération. Cette reformulation ouvre la voie à l’utilisation de l’apprentissage par renforcement pour l’entraînement des séquences, où le modèle lui-même sert de critique, conduisant ainsi à une méthode d’entraînement auto-critique des séquences (Self-Critical Sequence Training, SCST). Nous présentons une étude approfondie démontrant que l’usage du RL via SCST améliore significativement la génération de graphes et de textes sur les jeux de données WebNLG+ 2020 et TekGen. Notre système atteint des résultats de pointe sur WebNLG+ 2020, en améliorant de manière notable les résultats publiés lors du défi WebNLG 2020+, pour les deux tâches de génération : texte vers graphe et graphe vers texte.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp