IM-Loss: خسارة التحسين المعلوماتي للشبكات العصبية الشبيهة بالنبضات

شبكة الأعصاب المُتَشَوِّشَة (SNN)، التي تُعَدّ نوعًا من الهياكل المُحَقِّقة بيولوجيًا، لاقت اهتمامًا بحثيًا كبيرًا مؤخرًا. وتنقل المعلومات عبر نبضات ثنائية القيمة (0/1). يُظهر هذا الميكانيزم المُحاكِي للطبيعة كفاءة طاقية متميزة، نظرًا لتجنبه أي عمليات ضرب على الأجهزة العصبية المُحَوَّلة. ومع ذلك، فإن كمية التمثيل الرقمي للنبضات (0/1) أثناء عملية التمرير الأمامي قد تؤدي إلى فقدان المعلومات وتدهور الدقة. ولحل هذه المشكلة، تم اقتراح خسارة تعظيم المعلومات (IM-Loss) في الورقة، والتي تهدف إلى تعظيم تدفق المعلومات داخل الشبكة العصبية المُتَشَوِّشَة. وتكمن فائدة IM-Loss في تعزيز قدرة الشبكة على التعبير عن المعلومات بشكل مباشر، كما تؤدي دورًا مشابهًا لعملية التطبيع (Normalization) دون إدخال أي عمليات إضافية (مثل التحيّز أو التحجيم) خلال مرحلة الاستنتاج. بالإضافة إلى ذلك، قمنا بطرح تقدير جديد قابل للتفاضل لنشاط النبضات، يُسمى "الدرجات الالتفافية التطوّرية" (Evolutionary Surrogate Gradients - ESG) في الشبكات العصبية المُتَشَوِّشَة. وبتعيين درجات مُستَعْوَضَة قابلة للتطور تلقائيًا لدالة نشاط النبضات، تضمن ESG تحديثات كافية للنموذج في مراحل بداية التدريب، وتقديم مشتقات دقيقة في نهاية التدريب، ما يؤدي إلى تقارب سهل وأداء عالٍ في المهام. وأظهرت النتائج التجريبية على مجموعة متنوعة من البيانات الشهيرة غير المُتَشَوِّشَة والبيانات العصبية المُحَوَّلة أن النماذج المُتَدَرِّبَة بوساطة طريقة الدراسة الحالية تفوق الأفضلية الحالية من الخوارزميات.