将多个贪婪依存句法分析器蒸馏为一个MST分析器

我们介绍了两种基于图的一阶依存句法分析器，它们达到了新的技术水平。第一种是一个共识分析器，由一组具有不同随机初始化的独立训练的贪婪LSTM转换分析器组成。我们将这种方法视为最小贝叶斯风险解码（在汉明成本下），并认为集合内部较弱的共识是有用的难度或歧义信号。第二种分析器是将该集合“蒸馏”为单个模型。我们使用结构化铰链损失目标函数训练蒸馏分析器，其中包含了一种新颖的成本计算方法，该方法结合了每个可能依存关系的集合不确定性估计，从而避免了将标准蒸馏目标应用于结构化输出问题时所需的复杂交叉熵计算。一阶蒸馏分析器在英语、汉语和德语上的表现与现有技术水平相当或更优。