HyperAIHyperAI

Command Palette

Search for a command to run...

IM-Loss: خسارة التحسين المعلوماتي للشبكات العصبية الشبيهة بالنبضات

Zhe Ma Xuhui Huang YingLei Wang Xiaode Liu Liwen Zhang Yuanpei Chen Yufei Guo

الملخص

شبكة الأعصاب المُتَشَوِّشَة (SNN)، التي تُعَدّ نوعًا من الهياكل المُحَقِّقة بيولوجيًا، لاقت اهتمامًا بحثيًا كبيرًا مؤخرًا. وتنقل المعلومات عبر نبضات ثنائية القيمة (0/1). يُظهر هذا الميكانيزم المُحاكِي للطبيعة كفاءة طاقية متميزة، نظرًا لتجنبه أي عمليات ضرب على الأجهزة العصبية المُحَوَّلة. ومع ذلك، فإن كمية التمثيل الرقمي للنبضات (0/1) أثناء عملية التمرير الأمامي قد تؤدي إلى فقدان المعلومات وتدهور الدقة. ولحل هذه المشكلة، تم اقتراح خسارة تعظيم المعلومات (IM-Loss) في الورقة، والتي تهدف إلى تعظيم تدفق المعلومات داخل الشبكة العصبية المُتَشَوِّشَة. وتكمن فائدة IM-Loss في تعزيز قدرة الشبكة على التعبير عن المعلومات بشكل مباشر، كما تؤدي دورًا مشابهًا لعملية التطبيع (Normalization) دون إدخال أي عمليات إضافية (مثل التحيّز أو التحجيم) خلال مرحلة الاستنتاج. بالإضافة إلى ذلك، قمنا بطرح تقدير جديد قابل للتفاضل لنشاط النبضات، يُسمى "الدرجات الالتفافية التطوّرية" (Evolutionary Surrogate Gradients - ESG) في الشبكات العصبية المُتَشَوِّشَة. وبتعيين درجات مُستَعْوَضَة قابلة للتطور تلقائيًا لدالة نشاط النبضات، تضمن ESG تحديثات كافية للنموذج في مراحل بداية التدريب، وتقديم مشتقات دقيقة في نهاية التدريب، ما يؤدي إلى تقارب سهل وأداء عالٍ في المهام. وأظهرت النتائج التجريبية على مجموعة متنوعة من البيانات الشهيرة غير المُتَشَوِّشَة والبيانات العصبية المُحَوَّلة أن النماذج المُتَدَرِّبَة بوساطة طريقة الدراسة الحالية تفوق الأفضلية الحالية من الخوارزميات.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp