العصبون المُتَذَرِّي التعبيري: نموذج عصبي فَعَّال وتعبيرِي فَعَّال يمكنه حل المهام ذات الأفق الطويل

الخلايا العصبية القشرية الحيوية هي أجهزة حسابية معقدة بشكل استثنائي، تقوم بدمج إدخالاتها السينابسية الواسعة عبر شجرة دندريتية معقدة على مدار الزمن، وتتأثر بعمليات بيولوجية داخلية معقدة ومتداخلة غير خطية. وقد اقترح دراسة حديثة توصيف هذه التعقيدات من خلال تكييف نماذج بديلة دقيقة لمحاكاة العلاقة بين الإدخال والإخراج في نموذج عصبي قشري بيوفيزيائي دقيق، ووجدت أن هذا يتطلب شبكات تلافيفية زمنية (TCN) تحتوي على ملايين المعلمات. ومع ذلك، قد تنشأ الحاجة إلى عدد كبير جدًا من المعلمات نتيجة عدم توافق بين الانحيازات الاستنتاجية (inductive biases) لشبكات TCN والعمليات الحسابية للخلايا العصبية القشرية. في ضوء ذلك، ولاستكشاف الآثار الحسابية لوحدات الذاكرة المتسربة (leaky memory) والمعالجة غير الخطية الدندريتية، نقدم نموذج خلية عصبية معبّرة عن الذاكرة المتسربة (ELM)، وهو نموذج ظاهري مُستوحى من الطبيعة لخلايا عصبية قشرية. وباستغلال حالات مخفية تشبه الذاكرة ذات تدهور بطيء، بالإضافة إلى عملية تكامل غير خطية مزدوجة الطبقة للإشارات السينابسية، يمكن للخلية ELM أن تُطابق بدقة العلاقة بين الإدخال والإخراج المذكورة أعلاه باستخدام أقل من عشرة آلاف معلمة قابلة للتدريب. ولتقييم الآثار الحسابية لتصميمنا للخلية العصبية، قمنا بتقييمه على مهام متعددة تتطلب هيكلًا زمنيًا معقدًا، بما في ذلك مجموعات بيانات Long Range Arena (LRA)، فضلاً عن مجموعة بيانات جديدة مُحاكاة عصبية مستوحاة من مجموعة بيانات Spiking Heidelberg Digits (SHD-Adding). وباستخدام عدد أكبر من وحدات الذاكرة بفترات زمنية كافية، وتكامل سينابسي متطورة بشكل ملائم، تُظهر الخلية ELM قدرات معالجة طويلة المدى ملحوظة، وتتفوق بشكل موثوق على الهياكل التقليدية مثل المُحول (Transformer) أو Chrono-LSTM في مجموعات LRA، بل وتُحلّ مسألة Pathfinder-X بدقة تزيد عن 70% (بطول سياق 16k).