HyperAIHyperAI
منذ 2 أشهر

الانتشار العكسي الهجين على مستوى الكرو/الميكرو لتدريب الشبكات العصبية المتعمقة ذات النبضات

Yingyezhe Jin; Wenrui Zhang; Peng Li
الانتشار العكسي الهجين على مستوى الكرو/الميكرو لتدريب الشبكات العصبية المتعمقة ذات النبضات
الملخص

الشبكات العصبية ذات النبضات (SNNs) مصممة لتمكين معالجة المعلومات المكانية-الزمانية والأجهزة العصبية الشكلية التي تعمل بالطاقة الفائقة المنخفضة والمحركة بالأحداث. ومع ذلك، لم تصل الشبكات العصبية ذات النبضات بعد إلى نفس أداء الشبكات العصبية الاصطناعية التقليدية العميقة (ANNs)، وهو تحدي قائم منذ فترة طويلة بسبب الديناميكيات المعقدة والأحداث النابضة غير القابلة للتفاضل التي تواجهها أثناء التدريب. طرق الرجوع الخلفي للخطأ الموجودة في الشبكات العصبية ذات النبضات محدودة من حيث القابلية للتوسع، وعدم التعامل المناسب مع الانقطاعات النابضة، و/أو عدم التطابق بين دالة الخسارة المرتكزة على معدل الترميز والتدرج المحسب. نقدم خوارزمية رجوع خلفي هجين على المستوى الكلي والجزئي (HM2-BP) لتدريب الشبكات العصبية ذات النبضات متعددة الطبقات. يتم التقاط الآثار الزمنية بدقة بواسطة الإمكان الكهربائي ما بعد التشابك على مستوى سلسلة النبضات (S-PSP) على المستوى الجزئي. يتم تعريف الأخطاء المرتكزة على معدل الترميز على المستوى الكلي، وحسابها وإرجاعها عبر كلا المستويين الكلي والجزئي. بخلاف طرق الرجوع الخلفي الموجودة، تقوم HM2-BP بحساب التدرج مباشرة لدالة الخسارة المرتكزة على معدل الترميز بالنسبة للمعلمات القابلة للتuning.لقد قمنا بتقييم خوارزمية HM2-BP المقترحة من خلال تدريب شبكات عصبية كاملة الارتباط وشبكية عميقة ومتجانسة بناءً على مجموعة بيانات MNIST الثابتة [14] ومجموعة بيانات N-MNIST العصبية الشكلية الديناميكية [26]. حققت HM2-BP مستوى دقة بلغ 99.49٪ و98.88٪ لكل من MNIST وN-MNIST على التوالي، مما يفوق أفضل الأداء المبلغ عنه الذي تم الحصول عليه من خوارزميات الرجوع الخلفي الموجودة في SNNs. بالإضافة إلى ذلك، تنتج HM2-BP أعلى مستويات الدقة بناءً على SNNs لمجموعة بيانات EMNIST [3]، وتؤدي إلى دقة اعتراف عالية للأحرف الإنجليزية المنطوقة لـ16 متحدثًا من مكتبة TI46 Corpus [16]، وهي مقصد صعب لمعيار الاعتراف بالكلام المكانى-الزمانى والذي لم يتم الإبلاغ عن أي نجاح سابق فيه بناءً على SNNs. كما أنها تحقق أداءً تنافسيًا يتفوق على أداء نماذج التعلم العميق التقليدية عند التعامل مع جداول النبضات غير المتزامنة.注释:在阿拉伯语中,“tuning”一词没有直接对应的翻译,因此保留了英文原词。其他术语如“spike-train level post-synaptic potential (S-PSP)”和“EMNIST”等也直接使用了英文,以保持专业性和准确性。