الهياكل المتكررة الفعالة من خلال الندرة في النشاط والندرة في الرجوع الخلفي عبر الزمن

الشبكات العصبية المتكررة (RNNs) ملائمة جيدًا لحل مهام التسلسل في الأنظمة ذات الموارد المحدودة بفضل قابليتها للتعبير ومتطلباتها الحسابية المنخفضة. ومع ذلك، لا يزال هناك حاجة لجسر الفجوة بين ما يمكن للشبكات العصبية المتكررة تحقيقه من حيث الكفاءة والأداء وبين متطلبات التطبيقات العملية. تساهم متطلبات الذاكرة والحسابات الناتجة عن نشر تنشيطات جميع الخلايا العصبية في كل خطوة زمنية إلى كل الخلية العصبية المتصلة، بالإضافة إلى اعتماد تنشيطات الخلايا العصبية بشكل متسلسل، في عدم كفاءة تدريب واستخدام الشبكات العصبية المتكررة. نقترح حلًا مستوحىً من ديناميكيات الخلايا العصبية الحيوية يجعل التواصل بين وحدات الشبكة العصبية المتكررة نادرًا ومجزأً. هذا يجعل مرحلة الرجوع الخلفي باستخدام التراجع عبر الزمن (BPTT) حسابيًا نادرًا وكفؤًا أيضًا. نعتمد في نموذجنا على الوحدة المتكررة المغلقة (GRU)، ونقوم بتوسيعها بوحدات تصدر أحداثًا مجزأة للتواصل عند الوصول إلى عتبة معينة بحيث لا يتم التواصل بأي معلومات إلى الوحدات الأخرى في غياب الأحداث. نوضح نظريًا أن التواصل بين الوحدات، وبالتالي الحسابات المطلوبة لكل من مرحلتي الإرسال والتراجع، تناسب عدد الأحداث في الشبكة. يحقق نموذجنا الكفاءة دون التضحية بأداء المهمة، مما يظهر أداءً تنافسيًا مقارنة بنماذج الشبكات العصبية المتكررة الأكثر تقدمًا في المهام العملية، بما في ذلك نمذجة اللغة. كما يجعل آلية الندرة النشاط الديناميكية نموذجنا ملائمًا جيدًا للأجهزة العصبية الجديدة التي توفر الطاقة بكفاءة عالية. يمكن الحصول على الكود من الرابط: https://github.com/KhaleelKhan/EvNN/.