اللغة الطبيعية مبنية بشكل هرمي: الوحدات الأصغر (مثل العبارات) توجد داخل الوحدات الأكبر (مثل الجمل). عندما تنتهي وحدة أكبر، يجب أن تغلق جميع الوحدات الأصغر التي توجد بداخلها. بينما يسمح التصميم القياسي للشبكات العصبية ذات الذاكرة القصيرة المدى طويلة (LSTM) للمعجلات المختلفة بمتابعة المعلومات على مقاييس زمنية مختلفة، فإنه لا يحتوي على انحياز صريح نحو نمذجة هرمية للمكونات. تقترح هذه الورقة إضافة مثل هذا الانحياز من خلال ترتيب المعجلات؛ حيث يضمن متجه من بوابات الإدخال الرئيسية والنسيا (master input and forget gates) أنه عند تحديث معجل معين، يتم تحديث جميع المعجلات التي تأتي بعده في الترتيب. لقد حققت هندستنا المتكررة الجديدة، LSTM ذات المعجلات المرتبة (ON-LSTM)، أداءً جيدًا في أربع مهام مختلفة: نمذجة اللغة، التحليل النحوي غير المنظور، التقييم النحوي المستهدف، والاستدلال المنطقي.