الشبكات العصبية المتكررة (RNNs) معروفة بصعوبة تدريبها بسبب مشاكل انخفاض التدرج وانفجاره، مما يجعل من الصعب عليها تعلم الأنماط طويلة المدى وبناء شبكات عميقة. لحل هذه المشاكل، يقترح هذا البحث نوعًا جديدًا من الشبكات العصبية المتكررة يتم فيها صياغة الاتصالات المتكررة كمنتج هادامارد، ويُشار إليه باسم الشبكة العصبية المتكررة المستقلة (IndRNN)، حيث تكون الخلايا العصبية في نفس الطبقة مستقلة عن بعضها البعض وتتصل عبر الطبقات. بفضل سلوك أفضل للتدرج عند الرجوع الخلفي، فإن IndRNN مع الأوزان المتكررة المنظمة تعالج بشكل فعال مشاكل انخفاض التدرج وانفجاره، وبالتالي يمكن تعلم الاعتمادات طويلة المدى. بالإضافة إلى ذلك، يمكن للـ IndRNN العمل مع دوال التنشيط غير المشبع مثل ReLU (وحدة الخطية المعقدة) ويبقى التدريب قويًا. تم دراسة هندسات IndRNN أعمق مختلفة، بما في ذلك IndRNN متراصة أساسية، IndRNN متبقية و IndRNN متصلة بكثافة، وكلها يمكن أن تكون أعمق بكثير من الشبكات العصبية المتكررة الحالية. علاوة على ذلك، فإن IndRNN يقلل من الحساب في كل خطوة زمنية ويمكن أن يكون أسرع بمقدار أكثر من 10 مرات من ذاكرة طويلة المدى قصيرة (LSTM) المستخدمة بشكل شائع. أظهرت النتائج التجريبية أن الـ IndRNN المقترح قادر على معالجة السلاسل الزمنية جدًا طويلة وبناء شبكات عميقة جدًا. تم تحقيق أداء أفضل في مهام مختلفة باستخدام IndRNNs مقارنة بالـ RNN التقليدية والـ LSTM والـ Transformer الشهير.