RNN المُعدّلة المشبعة: تذكّر أكثر بقلّة عدم استقرار

تُعدُّ التباعُد المتعامد (Orthogonal parameterization) حلاً واعِدًا لمشكلة اختفاء التدرج (Vanishing Gradient Problem - VGP) في الشبكات العصبية التكرارية (RNNs). وبفضل المعاملات المتعامدة والدوال النشطة غير المشبعة، يتم تقييد التدرجات في هذه النماذج ضمن قيم معيارية وحيدة (وحدة الطول). من ناحية أخرى، وعلى الرغم من أن الشبكات العصبية التكرارية التقليدية (النوعية البسيطة) تُظهر قدرة ذاكرة أعلى، إلا أنها تعاني من مشكلة اختفاء التدرج، وتفشل في أداء جيد في العديد من التطبيقات. ويُقدَّم في هذا العمل نموذج جديد يُسمَّى RNN المُتكيف المُشبَّع (Adaptive-Saturated RNNs - asRNN)، وهو نوع متغير يُعدِّل ديناميكيًا مستوى تشبعه بين النهجين المذكورين. وبهذا، يتمتع asRNN بقدرة الشبكة العصبية التكرارية التقليدية، وفي الوقت نفسه يتمتع بثبات التدريب المميز للشبكات العصبية التكرارية ذات المعاملات المتعامدة. تُظهر تجاربنا نتائج واعدة لنموذج asRNN في مهام التعلم على التسلسل الصعبة مقارنةً بعدة منافسين قويين. يمكن الوصول إلى كود البحث عبر الرابط التالي: https://github.com/ndminhkhoi46/asRNN/.