AntisymmetricRNN: رؤية أنظمة الديناميكية للشبكات العصبية المتكررة

الشبكات العصبية المتكررة اكتسبت استخدامًا واسع النطاق في نمذجة البيانات التسلسلية. ومع ذلك، لا يزال من الصعب تعلم الارتباطات طويلة المدى باستخدام هذه النماذج بسبب مشكلة الانفجار أو اختفاء التدرجات. في هذا البحث، نربط بين الشبكات العصبية المتكررة والمعادلات التفاضلية العادية. تحت هذا الإطار النظري، تم اقتراح شكل خاص من الشبكات العصبية المتكررة يُعرف بـ AntisymmetricRNN (الشبكة العصبية المتكررة المضادة للتماثل)، والتي تستطيع التقاط الارتباطات طويلة المدى بفضل خاصية الاستقرار للمعادلة التفاضلية الكامنة وراءها. غالبًا ما تتسبب الأساليب الحالية لتحسين قابلية تدريب RNN في زيادة كبيرة في العبء الحسابي. بالمقارنة مع ذلك، فإن AntisymmetricRNN تحقق نفس الهدف عن طريق التصميم. نوضح مزايا هذه الهندسة الجديدة من خلال محاكاة وتجارب واسعة النطاق. تظهر الشبكة العصبية المتكررة المضادة للتماثل ديناميكيات أكثر قابلية للتنبؤ. إنها تتفوق على نماذج LSTM التقليدية في المهام التي تتطلب ذاكرة طويلة الأمد وتتطابق مع أدائها في المهام حيث تسود الارتباطات قصيرة المدى رغم أنها أبسط بكثير.