شبكة العصبيات المتكررة المستقلة (IndRNN): بناء شبكة عصبية متكررة أطول وأعمق

الشبكات العصبية المتكررة (RNNs) قد تم استخدامها على نطاق واسع لمعالجة البيانات التسلسلية. ومع ذلك، فإن الشبكات العصبية المتكررة غالبًا ما تكون صعبة التدريب بسبب مشكلتي تلاشي التدرج وتضخمه المعروفتين، كما أنها تواجه صعوبة في تعلم الأنماط طويلة المدى. تم تطوير الذاكرة قصيرة المدى طويلة (LSTM) والوحدة المتكررة المحددة (GRU) لحل هذه المشكلات، ولكن استخدام دالة التنشيط الزائدة القطبية والسيغمويد يؤدي إلى انخفاض التدرج عبر الطبقات. نتيجة لذلك، فإن بناء شبكة عميقة قابلة للتدريب بكفاءة يمثل تحديًا. بالإضافة إلى ذلك، فإن جميع الخلايا العصبية في طبقة RNN متداخلة مع بعضها البعض وسلوكها صعب الفهم. لحل هذه المشكلات، يتم اقتراح نوع جديد من الشبكات العصبية المتكررة في هذا البحث يُعرف بالشبكة العصبية المتكررة المستقلة (IndRNN)، حيث تكون الخلايا العصبية في نفس الطبقة مستقلة عن بعضها البعض وهي متصلة عبر الطبقات. لقد أظهرنا أن IndRNN يمكن تنظيمه بسهولة لمنع مشكلتي تضخم التدرج وتلاشه بينما يسمح للشبكة بتعلم الارتباطات طويلة المدى. علاوة على ذلك، يمكن للـ IndRNN العمل مع دوال التنشيط غير المشبع مثل relu (الوحدة الخطية المستقيمة) ويظل قابلاً للتدريب بشكل موثوق. يمكن تراكيب عدة شبكات IndRNN لإنشاء شبكة أعمق من الشبكات العصبية المتكررة الحالية. وقد أظهرت النتائج التجريبية أن IndRNN المقترح قادر على معالجة سلسلة زمنية طويلة جدًا (أكثر من 5000 خطوة زمنية)، ويمكن استخدامه لبناء شبكات عميقة جدًا (تم استخدام 21 طبقة في التجربة) ويظل قابلاً للتدريب بشكل موثوق. قد حققت أدء أفضل في مختلف المهام باستخدام IndRNN مقارنة بالشبكات العصبية المتكررة التقليدية و LSTM. الرمز البرمجي متاح على https://github.com/Sunnydreamrain/IndRNN_Theano_Lasagne.