التدريب عبر الإنترنت في الزمن للشبكات العصبية النابضة

الشبكات العصبية النابضة (SNNs) هي نماذج واعدة مستوحاة من الدماغ وتتميز بكفاءة الطاقة. لقد مكّنت التقدمات الحديثة في طرق التدريب من تحقيق نتائج ناجحة للشبكات العصبية النابضة العميقة في مهام ذات نطاق كبير مع زمن استجابة قليل. بشكل خاص، يتم استخدام الانتشار الخلفي عبر الزمن (BPTT) مع التدرجات الوكيلة (SG) على نطاق واسع لتحقيق أداء عالٍ في عدد قليل جداً من الخطوات الزمنية. ومع ذلك، فإن هذا يأتي على حساب استهلاك ذاكرة كبير للتدريب، وعدم وضوح نظري في عملية الأمثلة، وعدم التطابق مع الخاصية الفورية لتعلم الكائنات الحية والقواعد الموجودة في الأجهزة العصبية الشكلية. فيما يتعلق بالأعمال الأخرى، فقد ربطت تمثيلات النبضات في الشبكات العصبية النابضة بتكوين شبكات عصبية اصطناعية مكافئة وأجرت تدريباً للشبكات العصبية النابضة باستخدام التدرجات المستمدة من هذه التحويلات المكافئة لضمان اتجاهات الهبوط. ولكنها فشلت في تحقيق زمن استجابة قليل ولم تكن فورية أيضاً.في هذا العمل، نقترح تدريباً فورياً عبر الزمن (OTTT) للشبكات العصبية النابضة، وهو مشتق من BPTT ويتيح التعلم متقدماً بالزمن من خلال تتبع أنشطة ما قبل السينابس واستخدام الخسارة والتدرجات الفوريتين. وفي الوقت نفسه، نقوم بتحليل نظري وإثبات أن التدرجات المستخدمة في OTTT يمكن أن توفر اتجاهاً مشابهاً للهبوط لأغراض الأمثلة مثل التدرجات المستندة إلى تمثيلات النبضات تحت ظروف الإرسال المتتابع والمتكرر. يتطلب OTTT فقط تكاليف ذاكرة ثابتة للتدريب غير مرتبطة بعدد الخطوات الزمنية، مما يتجنب التكاليف الذاكرة الكبيرة التي تتطلبها BPTT عند استخدام وحدات المعالجة الرسومية (GPU). بالإضافة إلى ذلك، تكون قاعدة تحديث OTTT على شكل تعلم هيببي ثلاثي الأبعاد، مما قد يفتح الطريق أمام التعلم الفوري داخل الشرائح. وبفضل OTTT، يكون هذا أول مرة يتم فيها ربط طريقتين أساسيتين للتدريب الإشرافي للشبكات العصبية النابضة: الانتشار الخلفي عبر الزمن مع التدرجات الوكيلة والتدريب المستند إلى تمثيلات النبضات، وفي نفس الوقت بطريقة بيولوجية محتملة. أظهرت التجارب على مجموعات البيانات CIFAR-10 وCIFAR-100 وImageNet وCIFAR10-DVS الأداء المتفوق لطريقتنا على مجموعات بيانات ثابتة وكبيرة الحجم وأخرى عصبية شكلية في خطوات زمنية صغيرة.