HyperAIHyperAI

Command Palette

Search for a command to run...

النقطة القابلة للتفاضل: إعادة التفكير في التفاضل الهابط لتدريب الشبكات العصبية الشبيهة بالنبضات

Shi Gu Yongqing Hai Shikuang Deng Shanghang Zhang Yufei Guo Yuhang Li

الملخص

أصبحت الشبكات العصبية المُشَكِّلة (SNNs) طريقة مُستوحاة من البيولوجيا، تُحاكي الطبيعة المُشَكِّلة للخلايا العصبية في الدماغ. وتستمد هذه المحاكاة الحيوية كفاءة الطاقة في عملية الاستدلال على الأجهزة العصبية المُصممة خصيصًا. ومع ذلك، فإن هذه الميزة تُحدث عيبًا داخليًا في تدريب الشبكات العصبية المُشَكِّلة ذات الأداء العالي من الصفر، نظرًا لأن النبضات العصبية المنفصلة تمنع حساب التدرجات. وللتغلب على هذه المشكلة، تم اقتراح نهج التدرج البديل (SG) كتخفيف مستمر. ولكن اختيار التدرج البديل بشكل تجريبي يترك مساحة فارغة حول كيفية فائدة هذا التدرج في تدريب الشبكات العصبية المُشَكِّلة. في هذا العمل، نقوم أولًا بدراسة نظرية لمشكلة الانحدار التدرجي في تدريب الشبكات العصبية المُشَكِّلة، ونُقدِّم التدرج المُحَسَّب بالفرق المنتهي لتحليل كمي لسلوك التدريب في الشبكات العصبية المُشَكِّلة. وباستنادًا إلى التدرج المُحَسَّب بالفرق المنتهي، نقترح عائلة جديدة من الدوال المُشَكِّلة القابلة للتفاضل (Dspike)، التي يمكنها التطور تلقائيًا أثناء التدريب للعثور على الشكل والانسيابية المثلى لتقدير التدرجات. وتشير التجارب الواسعة التي أجريت على عدة هياكل شبكية شهيرة إلى أن تدريب الشبكات العصبية المُشَكِّلة باستخدام Dspike يتفوق باستمرار على أحدث أساليب التدريب. على سبيل المثال، في مهمة تصنيف CIFAR10-DVS، نتمكن من تدريب نموذج ResNet-18 مُشَكِّل وتحقيق دقة أعلى بنسبة 75.4% في الموضع الأول باستخدام 10 خطوات زمنية.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp