自然语言具有层次结构：较小的单元（例如短语）嵌套在较大的单元（例如从句）中。当一个较大的成分结束时，所有嵌套在其内的较小成分也必须关闭。虽然标准的长短期记忆网络（LSTM）架构允许不同的神经元在不同的时间尺度上跟踪信息，但它并没有显式地偏向于建模成分的层次结构。本文提出通过排序神经元来增加这种归纳偏置；一个主输入和遗忘门向量确保了当某个神经元被更新时，所有排在其后的神经元也会被更新。我们提出的新型递归架构——有序神经元长短期记忆网络（ON-LSTM），在四个不同任务上取得了良好的性能：语言模型、无监督解析、目标句法评估和逻辑推理。