HyperAIHyperAI

Command Palette

Search for a command to run...

Préfixes de contrôle pour une génération de texte à faible coût en paramètres

Jordan Clive Kris Cao Marek Rei

Résumé

Le prefix-tuning est une technique puissante et légère pour adapter un grand modèle pré-entraîné de langage à une application spécifique. Toutefois, il utilise un même prompt ajusté au niveau du jeu de données pour tous les exemples de ce dernier. Nous étendons cette approche en proposant une méthode dynamique, nommée Control Prefixes, qui permet d’intégrer des informations conditionnelles dépendantes des entrées, combinant ainsi les avantages du tuning de prompts et de la génération contrôlée. Cette méthode incorpore des représentations apprenables au niveau des attributs dans différentes couches d’un transformateur pré-entraîné, permettant ainsi de guider la génération de texte selon une direction particulière. Nous menons une évaluation systématique de la technique et l’appliquons à cinq jeux de données issus du benchmark GEM dédié à la génération de langage naturel (NLG). Bien que l’objectif principal soit de développer un modèle efficace en termes de paramètres, nous démontrons que Control Prefixes peut même surpasser les méthodes d’ajustement complet (full fine-tuning). Nous obtenons des résultats de pointe sur plusieurs jeux de données de génération texte à partir de données, notamment WebNLG.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp