Modèles de langage liés aux langages symboliques

Bien que les approches neuronales de bout en bout dominent récemment les tâches de traitement du langage naturel (NLP) tant en termes de performance qu'en facilité d'utilisation, elles manquent d'interprétabilité et de robustesse. Nous proposons Binder, un cadre neuronal-symbolique sans apprentissage qui mappe l'entrée de la tâche à un programme, ce qui (1) permet de lier une API unifiée des fonctionnalités du modèle linguistique (LM) à un langage de programmation (par exemple, SQL, Python) pour étendre sa couverture grammaticale et ainsi traiter des questions plus diverses, (2) adopte un LM comme analyseur de programme et comme modèle sous-jacent appelé par l'API lors de l'exécution, et (3) nécessite seulement quelques annotations contextuelles. Plus précisément, nous utilisons GPT-3 Codex comme LM. Dans la phase d'analyse syntaxique, avec seulement quelques exemples contextuels, Codex est capable d'identifier la partie de l'entrée de la tâche qui ne peut pas être résolue par le langage de programmation original, générer correctement des appels d'API pour inciter Codex à résoudre la partie non résoluble, et déterminer où placer ces appels tout en restant compatible avec la grammaire originale. Dans la phase d'exécution, Codex peut effectuer des fonctionnalités variées (par exemple, questions-réponses basées sur le sens commun, extraction d'informations) grâce à des prompts appropriés dans les appels d'API. Binder obtient des résultats de pointe sur les jeux de données WikiTableQuestions et TabFact, avec des programmes de sortie explicites qui facilitent le débogage humain. Notons que les systèmes précédents les plus performants étaient tous affinés sur plusieurs dizaines de milliers d'échantillons spécifiques à la tâche, tandis que Binder n'utilise que quelques dizaines d'annotations comme exemples contextuels sans aucun apprentissage. Notre code est disponible sur https://github.com/HKUNLP/Binder .