HyperAIHyperAI

Command Palette

Search for a command to run...

Restez sur le sujet avec la guidance sans classificateur

Guillaume V. Sanchez Honglu Fan Alexander Spangher Elad Levi Pawan Sasanka Ammanamanchi Stella Biderman

Résumé

La Guidance Sans Classifieur (GSC) est récemment apparue dans la génération d'images à partir de texte comme une technique légère pour encourager l'adhésion aux invites lors de la génération. Dans ce travail, nous démontrons que la GSC peut être utilisée de manière généralisée en tant que technique au moment de l'inférence dans le modélisation pure du langage. Nous montrons que la GSC (1) améliore les performances des modèles Pythia, GPT-2 et LLaMA sur un éventail de tâches : questions-réponses, raisonnement, génération de code et traduction automatique, atteignant l'état de l'art (SOTA) sur LAMBADA avec LLaMA-7B par rapport à PaLM-540B ; (2) apporte des améliorations équivalentes à celles d'un modèle dont le nombre de paramètres est doublé ; (3) peut être combinée avec d'autres méthodes au moment de l'inférence, telles que la Chaîne de Pensée et la Cohérence Auto, offrant des améliorations supplémentaires dans les tâches difficiles ; (4) peut être utilisée pour augmenter la fidélité et la cohérence des assistants face à des invites complexes basées sur la forme ou le contenu : une évaluation humaine montre une préférence de 75 % pour GPT4All utilisant la GSC par rapport à la version de base.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp