Auto-formation à partir de la mémoire propre dans la génération de texte à partir de données

Ce document présente un nouveau modèle d'entraînement, l'auto-entraînement à partir de la mémoire propre (STSM) dans la génération de texte à partir de données (DTG), permettant au modèle de s'auto-entraîner sur des sous-ensembles, incluant la mémoire propre comme sorties inférées directement à partir des modèles entraînés et/ou de nouvelles données. La qualité de la mémoire propre est validée par deux modèles, la génération de texte à partir de données (D2T) et la conversion de texte en données (T2D), selon deux conditions prédéfinies : (1) l'apparition de toutes les valeurs sources dans les sorties du modèle D2T et (2) la capacité de convertir ces sorties en données sources dans le modèle T2D. Nous utilisons un algorithme glouton pour générer des sorties D2T plus courtes si elles contiennent toutes les valeurs sources. Ensuite, nous utilisons le modèle T2D pour confirmer que ces sorties peuvent capturer les relations d'entrée en démontrant leur capacité à convertir le texte en données. Avec 30 % du jeu de données, nous pouvons entraîner le modèle D2T avec une performance compétitive par rapport à l'entraînement complet dans le même contexte. Nous expérimentons notre modèle sur deux jeux de données, E2E NLG et DART. Le STSM offre au modèle D2T une capacité de généralisation à partir de sa mémoire propre en réduisant le volume des données d'entraînement. En fin de compte, nous prévoyons que ce document contribuera aux solutions d'apprentissage continu qui s'adaptent aux nouvelles données d'entraînement, en les intégrant sous forme de mémoire propre dans les tâches DTG. Le jeu de données curaté est disponible publiquement à l'adresse suivante : https://github.com/hoangthangta/STSM.