التعلم المتأخر في الشبكات العصبية الشوكيّة باستخدام التحويلات الموسّعة ذات الفجوات القابلة للتعلم

تمثّل الشبكات العصبية المُتَسَلِّطة (SNNs) اتجاهًا بحثيًا واعدًا لبناء أنظمة معالجة معلومات فعّالة من حيث استهلاك الطاقة، خاصةً في المهام الزمنية مثل التعرف على الكلام. في الشبكات العصبية المُتَسَلِّطة، تشير التأخيرات إلى الزمن اللازم لانتقال نبضة واحدة من عصبون إلى آخر. وتُعد هذه التأخيرات ذات أهمية لأنها تؤثر على أوقات وصول النبضات، ومن المعروف جيدًا أن العصبونات المُتَسَلِّطة تستجيب بقوة أكبر عند تلقي نبضات مُتَزَامِنة. وبشكل أكثر رسمية، أُثبت نظريًا أن التأخيرات القابلة للتغير (القابلة للتكيف) تزيد بشكل كبير من قدرة الشبكة على التعبير (التعبيرية) في الشبكات العصبية المُتَسَلِّطة. ومع ذلك، كانت الخوارزميات الفعّالة لتعلُّم هذه التأخيرات مفقودة حتى الآن. في هذا العمل، نقترح خوارزمية جديدة في الزمن المنفصل، تُعالج هذه المشكلة في الشبكات العصبية المُتَسَلِّطة العميقة ذات التدفق الأمامي باستخدام خوارزمية التراجع التدريجي (backpropagation) بطريقة غير مباشرة (offline). ولمحاكاة التأخيرات بين الطبقات المتتالية، نستخدم التحويلات ذات البعد الواحد (1D convolutions) عبر الزمن. وتتكوّن النوى (kernels) من عدد قليل جدًا من الوزن غير الصفرية – واحدة لكل اتصال عصبي – وتقع موضعها وفقًا لقيم التأخير. وتم تعلّم هذه المواضع مع الوزن باستخدام تقنية التحويل المُتَوَسِّع مع الفجوات القابلة للتعلُّم (DCLS)، التي تم اقتراحها حديثًا. وقد قُمنا بتقييم طريقتنا على ثلاث مجموعات بيانات: مجموعة بيانات هايدلبرغ المُتَسَلِّطة (SHD)، وبيانات أوامر الكلام المُتَسَلِّطة (SSC)، ونسخة غير مُتَسَلِّطة من هذه المجموعة، وهي مجموعة أوامر الكلام من جوجل (GSC) الإصدار 0.02، والتي تتطلب اكتشاف أنماط زمنية. استخدمنا شبكات عصبية مُتَسَلِّطة ذات تدفق أمامي، بطبقتين مخفية كاملة الاتصال (fully connected)، وعصبونات مُستَمِرَّة التسرب (leaky integrate-and-fire) بسيطة. وأظهرنا أن التأخيرات العشوائية الثابتة تُسهم في تحسين الأداء، وأن تعلُّم هذه التأخيرات يُسهم بشكل أكبر. علاوةً على ذلك، تفوقت طريقتنا على أفضل النماذج الحالية في الثلاث مجموعات البيانات، دون استخدام روابط تكرارية (recurrent connections)، وبعدد مُتَسَمِّي من المُعاملات (parame ters) بشكل كبير. يُظهر عملنا الإمكانات الكبيرة لتعلُّم التأخيرات في تطوير نماذج دقيقة ودقيقة جدًا لمعالجة البيانات الزمنية. ويمكن الاطلاع على الكود الخاص بنا، الذي يُبنى على منصة PyTorch / SpikingJelly، من خلال الرابط التالي: https://github.com/Thvnvtos/SNN-delays