Restez sur le sujet avec la guidance sans classificateur

La Guidance Sans Classifieur (GSC) est récemment apparue dans la génération d'images à partir de texte comme une technique légère pour encourager l'adhésion aux invites lors de la génération. Dans ce travail, nous démontrons que la GSC peut être utilisée de manière généralisée en tant que technique au moment de l'inférence dans le modélisation pure du langage. Nous montrons que la GSC (1) améliore les performances des modèles Pythia, GPT-2 et LLaMA sur un éventail de tâches : questions-réponses, raisonnement, génération de code et traduction automatique, atteignant l'état de l'art (SOTA) sur LAMBADA avec LLaMA-7B par rapport à PaLM-540B ; (2) apporte des améliorations équivalentes à celles d'un modèle dont le nombre de paramètres est doublé ; (3) peut être combinée avec d'autres méthodes au moment de l'inférence, telles que la Chaîne de Pensée et la Cohérence Auto, offrant des améliorations supplémentaires dans les tâches difficiles ; (4) peut être utilisée pour augmenter la fidélité et la cohérence des assistants face à des invites complexes basées sur la forme ou le contenu : une évaluation humaine montre une préférence de 75 % pour GPT4All utilisant la GSC par rapport à la version de base.