Préfixes de contrôle pour une génération de texte à faible coût en paramètres

Le prefix-tuning est une technique puissante et légère pour adapter un grand modèle pré-entraîné de langage à une application spécifique. Toutefois, il utilise un même prompt ajusté au niveau du jeu de données pour tous les exemples de ce dernier. Nous étendons cette approche en proposant une méthode dynamique, nommée Control Prefixes, qui permet d’intégrer des informations conditionnelles dépendantes des entrées, combinant ainsi les avantages du tuning de prompts et de la génération contrôlée. Cette méthode incorpore des représentations apprenables au niveau des attributs dans différentes couches d’un transformateur pré-entraîné, permettant ainsi de guider la génération de texte selon une direction particulière. Nous menons une évaluation systématique de la technique et l’appliquons à cinq jeux de données issus du benchmark GEM dédié à la génération de langage naturel (NLG). Bien que l’objectif principal soit de développer un modèle efficace en termes de paramètres, nous démontrons que Control Prefixes peut même surpasser les méthodes d’ajustement complet (full fine-tuning). Nous obtenons des résultats de pointe sur plusieurs jeux de données de génération texte à partir de données, notamment WebNLG.