HyperAIHyperAI

Command Palette

Search for a command to run...

Décodage de type NeuroLogic A* : génération de texte contrainte avec des heuristiques d’avance

Résumé

Le paradigme dominant pour la génération de texte par les réseaux neuronaux repose sur une décodage de gauche à droite issue des modèles linguistiques autoregressifs. Toutefois, la génération contrainte ou contrôlable sous des contraintes lexicales complexes exige une anticipation permettant de planifier à l’avance des chemins futurs réalisables.S’inspirant de l’algorithme de recherche A, nous proposons NeuroLogic Aesque, un algorithme de décodage intégrant des estimations heuristiques du coût futur. Nous avons conçu des heuristiques d’anticipation efficaces adaptées aux grands modèles linguistiques, rendant notre méthode une substitution directe (drop-in replacement) des techniques courantes telles que la recherche en largeur (beam search) ou l’échantillonnage top-k. Pour permettre la génération contrainte, nous nous appuyons sur la décodage NeuroLogic (Lu et al., 2021), combinant sa flexibilité dans l’intégration de contraintes logiques avec les estimations Aesque de satisfaction future des contraintes.Notre approche surpasse les méthodes de référence sur cinq tâches de génération, atteignant de nouveaux états de l’art pour la génération texte à partir de tableaux, la traduction automatique contrainte et la génération contrainte par mots-clés. Les améliorations sont particulièrement marquées sur des tâches nécessitant une satisfaction complexe de contraintes, ainsi que dans des scénarios à faible ou zéro exemple (few-shot ou zero-shot). NeuroLogic Aesque illustre le potentiel du décodage pour améliorer et ouvrir de nouvelles capacités aux grands modèles linguistiques.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Décodage de type NeuroLogic A* : génération de texte contrainte avec des heuristiques d’avance | Articles | HyperAI