تعلم التمثيلات الهرمية والزمنية كان من بين التحديات طويلة الأمد للشبكات العصبية المتكررة. تم اعتبار الشبكات العصبية المتكررة متعددة المقياس كأحد الأساليب الواعدة لحل هذه المشكلة، ومع ذلك كانت هناك نقص في الأدلة التجريبية التي تظهر أن هذا النوع من النماذج يمكنه بالفعل التقاط الارتباطات الزمنية من خلال اكتشاف البنية الهرمية الكامنة للسلسلة. في هذا البحث، نقترح أسلوباً جديداً متعدد المقياس يُسمى الشبكات العصبية المتكررة متعددة المقياس الهرمي، والتي يمكنها التقاط البنية الهرمية الكامنة في السلسلة من خلال ترميز الارتباطات الزمنية بفواصل زمنية مختلفة باستخدام آلية تحديث جديدة. نقدم بعض الأدلة على أن هندسة مقياسنا المتعدد المقترحة يمكنها اكتشاف الهيكل الهرمي الكامن في السلاسل دون استخدام معلومات الحدود الصريحة. نقيم النموذج المقترح لدينا في تعلم النماذج اللغوية على مستوى الحروف ونمذجة سلسلة الكتابة باليد.