Contrôles textuels composites dans l'espace latent avec des équations différentielles ordinaires

Les applications réelles de traitement de texte impliquent souvent la composition d’un large éventail d’opérations de contrôle de texte, telles que l’édition du texte par rapport à un attribut, la manipulation de mots-clés et de structures, ou encore la génération de nouveaux textes possédant des propriétés souhaitées. Les travaux antérieurs ont généralement pour objectif d’apprendre ou de fine-tuner un modèle de langage (LM) afin de réaliser des opérations individuelles ou des sous-ensembles spécifiques. Des recherches récentes se sont intéressées à la combinaison d’opérations de manière plug-and-play, souvent au prix d’une recherche coûteuse ou d’optimisation dans l’espace séquentiel complexe. Ce papier propose une nouvelle approche efficace pour des opérations textuelles composites dans l’espace latent compact du texte. La faible dimensionnalité et la différentiabilité du vecteur latent du texte nous permettent de concevoir un échantillonneur efficace basé sur des équations différentielles ordinaires (ODEs), en présence d’opérateurs plug-in arbitraires (par exemple, des classificateurs d’attributs). En reliant les modèles de langage pré-entraînés (tels que GPT2) à cet espace latent par une adaptation efficace, nous décodons ensuite les vecteurs échantillonnés en séquences de texte souhaitées. Cette approche souple permet d’utiliser divers opérateurs de contrôle (sentiment, temps verbal, niveau de formalité, mots-clés, etc.) obtenus à partir de tout type de données pertinentes provenant de domaines variés. Les expérimentations montrent que la composition de ces opérateurs au sein de notre approche permet de générer ou d’éditer des textes de haute qualité, offrant des améliorations significatives par rapport aux méthodes antérieures en termes de qualité de génération et d’efficacité.