Bindung von Sprachmodellen in symbolischen Sprachen

Obwohl end-to-end neuronale Ansätze in den letzten Jahren sowohl hinsichtlich der Leistung als auch der Benutzerfreundlichkeit die NLP-Aufgaben dominiert haben, fehlen ihnen Interpretierbarkeit und Robustheit. Wir schlagen Binder vor, ein trainingsfreies neuronales-symbolisches Framework, das die Aufgabeingabe einem Programm zuordnet. Dies ermöglicht es (1), eine einheitliche API von Sprachmodellfunktionen (LM) an eine Programmiersprache (z.B. SQL, Python) zu binden, um deren Grammatikabdeckung zu erweitern und so vielfältigere Fragen zu bearbeiten, (2) ein Sprachmodell sowohl als Programmanalysator als auch als durch die API während der Ausführung aufgerufenes zugrundeliegendes Modell zu verwenden, und (3) nur wenige annotierte Beispiele im Kontext zu benötigen. Insbesondere verwenden wir GPT-3 Codex als Sprachmodell. Im Analyse Stadium ist Codex mit nur wenigen kontextuellen Beispielen in der Lage, den Teil der Aufgabeingabe zu identifizieren, der nicht durch die ursprüngliche Programmiersprache beantwortbar ist, korrekte API-Aufrufe zu generieren, um Codex zur Lösung des nicht beantwortbaren Teils anzuspornen, und den Platz für die API-Aufrufe unter Berücksichtigung der ursprünglichen Grammatik zu identifizieren. Im Ausführungsstadium kann Codex bei geeigneten Anweisungen in den API-Aufrufen vielfältige Funktionen ausführen (z.B. Alltagswissen-Fragenbeantwortung, Informationsextraktion). Binder erzielt Stand-of-the-art-Ergebnisse auf den Datensätzen WikiTableQuestions und TabFact, wobei explizite Ausgabeprogramme die Fehlersuche durch Menschen erleichtern. Es sei darauf hingewiesen, dass die bisher besten Systeme alle an Tausenden von aufgabenbezogenen Stichproben angepasst wurden, während Binder ohne jegliches Training nur Dutzende Annotationen als kontextuelle Beispiele verwendet. Unser Code ist unter https://github.com/HKUNLP/Binder verfügbar.