النقطة القابلة للتفاضل: إعادة التفكير في التفاضل الهابط لتدريب الشبكات العصبية الشبيهة بالنبضات

أصبحت الشبكات العصبية المُشَكِّلة (SNNs) طريقة مُستوحاة من البيولوجيا، تُحاكي الطبيعة المُشَكِّلة للخلايا العصبية في الدماغ. وتستمد هذه المحاكاة الحيوية كفاءة الطاقة في عملية الاستدلال على الأجهزة العصبية المُصممة خصيصًا. ومع ذلك، فإن هذه الميزة تُحدث عيبًا داخليًا في تدريب الشبكات العصبية المُشَكِّلة ذات الأداء العالي من الصفر، نظرًا لأن النبضات العصبية المنفصلة تمنع حساب التدرجات. وللتغلب على هذه المشكلة، تم اقتراح نهج التدرج البديل (SG) كتخفيف مستمر. ولكن اختيار التدرج البديل بشكل تجريبي يترك مساحة فارغة حول كيفية فائدة هذا التدرج في تدريب الشبكات العصبية المُشَكِّلة. في هذا العمل، نقوم أولًا بدراسة نظرية لمشكلة الانحدار التدرجي في تدريب الشبكات العصبية المُشَكِّلة، ونُقدِّم التدرج المُحَسَّب بالفرق المنتهي لتحليل كمي لسلوك التدريب في الشبكات العصبية المُشَكِّلة. وباستنادًا إلى التدرج المُحَسَّب بالفرق المنتهي، نقترح عائلة جديدة من الدوال المُشَكِّلة القابلة للتفاضل (Dspike)، التي يمكنها التطور تلقائيًا أثناء التدريب للعثور على الشكل والانسيابية المثلى لتقدير التدرجات. وتشير التجارب الواسعة التي أجريت على عدة هياكل شبكية شهيرة إلى أن تدريب الشبكات العصبية المُشَكِّلة باستخدام Dspike يتفوق باستمرار على أحدث أساليب التدريب. على سبيل المثال، في مهمة تصنيف CIFAR10-DVS، نتمكن من تدريب نموذج ResNet-18 مُشَكِّل وتحقيق دقة أعلى بنسبة 75.4% في الموضع الأول باستخدام 10 خطوات زمنية.