摘要
针对文本数据的大型预训练语言模型具有无约束的输出空间；在每个解码步骤中，它们可以生成数以万计的子词标记中的任意一个。当这些模型被微调以适应目标受限形式语言（如SQL）时，常常会产生无效代码，导致其无法使用。为此，我们提出了PICARD（代码与训练模型详见 https://github.com/ElementAI/picard），一种通过增量解析来约束语言模型自回归解码过程的方法。PICARD在每个解码步骤中通过拒绝非法标记，帮助模型生成有效的输出序列。在具有挑战性的Spider和CoSQL文本到SQL翻译任务中，我们证明了PICARD能够将原本表现尚可的微调T5模型转化为当前最先进的解决方案。