经典结构预测损失在序列到序列学习中的应用

近期，许多研究致力于使用强化学习方法或优化束搜索来在序列级别上训练神经注意力模型。本文综述了广泛用于训练线性模型进行结构预测的一系列经典目标函数，并将其应用于神经序列到序列模型。实验结果表明，这些损失函数在类似设置下表现出了令人惊讶的良好性能，略微优于束搜索优化。我们还在IWSLT'14德英翻译任务和Gigaword抽象摘要生成任务中报告了新的最佳结果。在较大的WMT'14英法翻译任务中，序列级别的训练达到了41.5的BLEU分数，与当前最佳水平相当。