HyperAIHyperAI

Command Palette

Search for a command to run...

Modèles de langage liés aux langages symboliques

Résumé

Bien que les approches neuronales de bout en bout dominent récemment les tâches de traitement du langage naturel (NLP) tant en termes de performance qu'en facilité d'utilisation, elles manquent d'interprétabilité et de robustesse. Nous proposons Binder, un cadre neuronal-symbolique sans apprentissage qui mappe l'entrée de la tâche à un programme, ce qui (1) permet de lier une API unifiée des fonctionnalités du modèle linguistique (LM) à un langage de programmation (par exemple, SQL, Python) pour étendre sa couverture grammaticale et ainsi traiter des questions plus diverses, (2) adopte un LM comme analyseur de programme et comme modèle sous-jacent appelé par l'API lors de l'exécution, et (3) nécessite seulement quelques annotations contextuelles. Plus précisément, nous utilisons GPT-3 Codex comme LM. Dans la phase d'analyse syntaxique, avec seulement quelques exemples contextuels, Codex est capable d'identifier la partie de l'entrée de la tâche qui ne peut pas être résolue par le langage de programmation original, générer correctement des appels d'API pour inciter Codex à résoudre la partie non résoluble, et déterminer où placer ces appels tout en restant compatible avec la grammaire originale. Dans la phase d'exécution, Codex peut effectuer des fonctionnalités variées (par exemple, questions-réponses basées sur le sens commun, extraction d'informations) grâce à des prompts appropriés dans les appels d'API. Binder obtient des résultats de pointe sur les jeux de données WikiTableQuestions et TabFact, avec des programmes de sortie explicites qui facilitent le débogage humain. Notons que les systèmes précédents les plus performants étaient tous affinés sur plusieurs dizaines de milliers d'échantillons spécifiques à la tâche, tandis que Binder n'utilise que quelques dizaines d'annotations comme exemples contextuels sans aucun apprentissage. Notre code est disponible sur https://github.com/HKUNLP/Binder .


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Modèles de langage liés aux langages symboliques | Articles | HyperAI