تقليل التدرج النادر المُشَغِّل بالانفجار

تُظهر الاهتمام المتزايد بمحاكاة الشبكات العصبية النابضة (SNNs) على أجهزة الحوسبة العصبية (neuromorphic computing devices) نظرًا لاستهلاكها المنخفض للطاقة. وقد مكّنت التطورات الحديثة من تدريب الشبكات العصبية النابضة إلى درجة تبدأ فيها بالمنافسة مع الشبكات العصبية الاصطناعية التقليدية (ANNs) من حيث الدقة، مع الحفاظ على الكفاءة في استهلاك الطاقة عند تشغيلها على الأجهزة العصبية. ومع ذلك، لا يزال عملية تدريب الشبكات العصبية النابضة تعتمد على عمليات المصفوفات الكثيفة الأصلية المطورة للشبكات الاصطناعية، والتي لا تستفيد من الطبيعة النادرة في الفضاء والزمن (spatiotemporally sparse) للشبكات العصبية النابضة. نقدم هنا أول خوارزمية للتفادي الخلفي (backpropagation) للشبكات العصبية النابضة النادرة (sparse SNN)، والتي تحقق نفس الدقة أو أفضل من الطرق الحديثة الرائدة، مع تسريع كبير وتوفير أكبر في الذاكرة. ونُظهر فعالية طريقتنا على مجموعات بيانات حقيقية بمستويات مختلفة من التعقيد (Fashion-MNIST، Neuromorphic-MNIST، وSpiking Heidelberg Digits)، حيث تم تحقيق تسريع يصل إلى 150 مرة في مرحلة التفادي الخلفي، وتحسين بنسبة 85% في كفاءة استخدام الذاكرة، دون التضحية بالدقة.