绑定语言模型于符号语言中

尽管端到端的神经网络方法在性能和易用性方面最近主导了自然语言处理（NLP）任务，但它们缺乏可解释性和鲁棒性。我们提出了一种名为Binder的无训练神经符号框架，该框架将任务输入映射到一个程序，该程序（1）允许将语言模型（LM）功能的统一API绑定到编程语言（如SQL、Python），以扩展其语法覆盖范围，从而解决更多样化的问题；（2）在解析阶段和执行阶段中均采用LM作为程序解析器和通过API调用的基础模型；（3）仅需要少量上下文示例注释。具体而言，我们使用GPT-3 Codex作为LM。在解析阶段，仅需几个上下文示例，Codex就能识别出原始编程语言无法回答的任务输入部分，正确生成API调用以提示Codex解决这些不可回答的部分，并确定放置API调用的位置以保持与原始语法的兼容性。在执行阶段，Codex可以根据API调用中的适当提示执行多种功能（例如常识问答、信息提取）。Binder在WikiTableQuestions和TabFact数据集上取得了最先进的结果，并且输出明确的程序代码，有利于人工调试。值得注意的是，此前的最佳系统都是在数万个特定任务样本上进行微调的，而Binder仅使用几十个注释作为上下文示例，无需任何训练。我们的代码可在https://github.com/HKUNLP/Binder 获取。