Natürliche Sprache ist hierarchisch strukturiert: kleinere Einheiten (z. B. Phrasen) sind in größeren Einheiten (z. B. Klauseln) verschachtelt. Wenn eine größere Konstituente endet, müssen auch alle kleineren Konstituenten, die in ihr verschachtelt sind, geschlossen werden. Obwohl die Standard-LSTM-Architektur verschiedene Neuronen ermöglicht, um Informationen auf verschiedenen Zeitskalen zu verfolgen, hat sie keinen expliziten Bias zur Modellierung einer Hierarchie von Konstituenten. In dieser Arbeit wird vorgeschlagen, einen solchen induktiven Bias durch das Ordnung der Neuronen hinzuzufügen; ein Vektor von Master-Eingangs- und Vergessenschaltern stellt sicher, dass wenn ein bestimmtes Neuron aktualisiert wird, auch alle Neuronen, die ihm in der Ordnung folgen, aktualisiert werden. Unsere neuartige rekurrente Architektur, ON-LSTM (ordered neurons LSTM), erzielt gute Ergebnisse bei vier verschiedenen Aufgaben: Sprachmodellierung, unüberwachtes Parsing, gezielte syntaktische Bewertung und logische Inferenz.