具有注意力机制的循环神经网络模型在各种序列到序列问题上已被证明极为有效。然而，软注意力机制在生成输出序列的每个元素时都需要遍历整个输入序列，这不仅限制了其在在线环境中的应用，还导致了时间复杂度为二次方的问题。基于许多感兴趣的问题中输入和输出序列元素之间的对齐关系是单调的这一观察，我们提出了一种端到端可微的方法来学习单调对齐关系。该方法在测试阶段能够实现在线且线性时间复杂度的注意力计算。我们在句子摘要、机器翻译和在线语音识别问题上验证了我们的方法，并取得了与现有序列到序列模型相当的结果。