自然言語は階層構造を持っています：小さな単位（例：句）が大きな単位（例：節）の中にネストしています。大きな構成要素が終了すると、その中にネストしているすべての小さな構成要素も閉じなければなりません。標準的なLSTMアーキテクチャは異なるニューロンが異なる時間スケールで情報を追跡することを可能にしていますが、構成要素の階層モデル化に対する明確なバイアスを持っていません。本論文では、ニューロンを順序付けすることでこのような誘導バイアスを追加することを提案します。マスタ入力ゲートと忘却ゲートのベクトルにより、特定のニューロンが更新されるとき、そのニューロンよりも後に来るすべてのニューロンも更新されます。我々の新しい再帰型アーキテクチャである順序付きニューロンLSTM（ON-LSTM）は、言語モデル化、非監督解析、対象となる文法評価、および論理的推論という4つの異なるタスクにおいて良好な性能を達成しています。