الشبكات الشبكية الدورية ذات الذاكرة المساعدة المجمعة

تُعد الشبكات العصبية التكرارية (RNNs) صعبة التدريب، لا سيما تلك ذات الهياكل الفضائية العميقة. وقد تم تطوير هياكل تعتمد على الاتصالات الممراتية، مثل الشبكة العصبية التكرارية الممراتية (RHN)، لتمكين عمق أكبر في الانتقال بين الخطوات، مما يؤدي إلى نماذج أكثر تعبيرًا. ومع ذلك، لا تزال هذه النماذج تواجه صعوبات في معالجة المشكلات التي تتطلب التقاط الاعتماديات طويلة المدى. علاوةً على ذلك، تميل قدرة الحفاظ على الذاكرة طويلة المدى إلى التراجع مع زيادة العمق الفضائي، نظرًا لأن البنية العميقة قد تسرع من ظاهرة تلاشي التدرج (gradient vanishing). في هذه الورقة، نعالج هذه المشكلات من خلال اقتراح معمارية جديدة للشبكة العصبية التكرارية تعتمد على RHN، تُسمى الشبكة العصبية التكرارية الممراتية ذات الذاكرة المساعدة المجموعة (GAM-RHN). تعتمد المعمارية المقترحة على ربط RHN بمجموعة من وحدات الذاكرة المساعدة المخصصة لتخزين المعلومات طويلة المدى من خلال عمليات القراءة والكتابة، وهي عملية مشابهة لتلك المستخدمة في الشبكات العصبية المُعدّة بالذاكرة (MANNs). أظهرت النتائج التجريبية على مهام اصطناعية تتطلب تأخيرات زمنية طويلة أن GAM-RHN يمكن تدريبها بكفاءة مع الحفاظ على العمق في كل من الزمن والفضاء. كما قمنا بتقييم المعمارية المقترحة على مجموعة متنوعة من المهام، بما في ذلك نمذجة اللغة، والتصنيف التسلسلي للصور، وتوقعات السوق المالية. وقد أثبتت هذه الطريقة إمكاناتها من خلال تحقيق نتائج متميزة على مستوى الحد الأدنى (state-of-the-art) في هذه المهام.