摘要
序列到序列（seq2seq）建模已迅速成为一种重要的通用自然语言处理工具，被证明在许多文本生成和序列标注任务中非常有效。Seq2seq 基于深度神经语言模型，并继承了其在估计局部、下一个词分布方面的卓越准确性。在这项工作中，我们引入了一种模型和束搜索训练方案，该方案基于 Daume III 和 Marcu（2005）的工作，将 seq2seq 扩展为学习全局序列评分。这种结构化方法避免了与局部训练相关的经典偏差，并将训练损失与测试时的使用统一起来，同时保留了 seq2seq 的经验证明有效的模型架构及其高效的训练方法。我们展示了我们的系统在三个不同的序列到序列任务上优于高度优化的基于注意力机制的 seq2seq 系统和其他基线：词语排序、句法分析和机器翻译。