无监督循环神经网络语法

循环神经网络语法（Recurrent Neural Network Grammars, RNNG）是语言生成模型，它们通过自顶向下、从左到右的顺序逐步生成句法树和句子，从而联合建模句法和表层结构。监督学习的RNNG在语言建模和句法分析方面表现出色，但需要一个带有解析树注释的语料库。在这项工作中，我们尝试了无监督学习的RNNG。由于直接对潜在树空间进行边缘化计算是不可行的，我们转而应用摊销变分推断。为了最大化证据下界，我们开发了一个参数化为神经条件随机场句法分析器的推理网络。在英语和汉语的语言建模基准测试中，无监督RNNG的表现与其监督学习的对应模型相当。在构词语法诱导方面，它们与最近通过注意力机制从单词中诱导树结构的神经语言模型具有竞争力。