HyperAIHyperAI

Command Palette

Search for a command to run...

Contrôles textuels composites dans l'espace latent avec des équations différentielles ordinaires

Guangyi Liu Zeyu Feng Yuan Gao Zichao Yang Xiaodan Liang Junwei Bao Xiaodong He Shuguang Cui Zhen Li Zhiting Hu

Résumé

Les applications réelles de traitement de texte impliquent souvent la composition d’un large éventail d’opérations de contrôle de texte, telles que l’édition du texte par rapport à un attribut, la manipulation de mots-clés et de structures, ou encore la génération de nouveaux textes possédant des propriétés souhaitées. Les travaux antérieurs ont généralement pour objectif d’apprendre ou de fine-tuner un modèle de langage (LM) afin de réaliser des opérations individuelles ou des sous-ensembles spécifiques. Des recherches récentes se sont intéressées à la combinaison d’opérations de manière plug-and-play, souvent au prix d’une recherche coûteuse ou d’optimisation dans l’espace séquentiel complexe. Ce papier propose une nouvelle approche efficace pour des opérations textuelles composites dans l’espace latent compact du texte. La faible dimensionnalité et la différentiabilité du vecteur latent du texte nous permettent de concevoir un échantillonneur efficace basé sur des équations différentielles ordinaires (ODEs), en présence d’opérateurs plug-in arbitraires (par exemple, des classificateurs d’attributs). En reliant les modèles de langage pré-entraînés (tels que GPT2) à cet espace latent par une adaptation efficace, nous décodons ensuite les vecteurs échantillonnés en séquences de texte souhaitées. Cette approche souple permet d’utiliser divers opérateurs de contrôle (sentiment, temps verbal, niveau de formalité, mots-clés, etc.) obtenus à partir de tout type de données pertinentes provenant de domaines variés. Les expérimentations montrent que la composition de ces opérateurs au sein de notre approche permet de générer ou d’éditer des textes de haute qualité, offrant des améliorations significatives par rapport aux méthodes antérieures en termes de qualité de génération et d’efficacité.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp