Décodage de type NeuroLogic A* : génération de texte contrainte avec des heuristiques d’avance

Le paradigme dominant pour la génération de texte par les réseaux neuronaux repose sur une décodage de gauche à droite issue des modèles linguistiques autoregressifs. Toutefois, la génération contrainte ou contrôlable sous des contraintes lexicales complexes exige une anticipation permettant de planifier à l’avance des chemins futurs réalisables.S’inspirant de l’algorithme de recherche A, nous proposons NeuroLogic Aesque, un algorithme de décodage intégrant des estimations heuristiques du coût futur. Nous avons conçu des heuristiques d’anticipation efficaces adaptées aux grands modèles linguistiques, rendant notre méthode une substitution directe (drop-in replacement) des techniques courantes telles que la recherche en largeur (beam search) ou l’échantillonnage top-k. Pour permettre la génération contrainte, nous nous appuyons sur la décodage NeuroLogic (Lu et al., 2021), combinant sa flexibilité dans l’intégration de contraintes logiques avec les estimations A*esque de satisfaction future des contraintes.Notre approche surpasse les méthodes de référence sur cinq tâches de génération, atteignant de nouveaux états de l’art pour la génération texte à partir de tableaux, la traduction automatique contrainte et la génération contrainte par mots-clés. Les améliorations sont particulièrement marquées sur des tâches nécessitant une satisfaction complexe de contraintes, ainsi que dans des scénarios à faible ou zéro exemple (few-shot ou zero-shot). NeuroLogic A*esque illustre le potentiel du décodage pour améliorer et ouvrir de nouvelles capacités aux grands modèles linguistiques.