كشف الكائنات باستخدام الشبكات العصبية الشوكيّة على بيانات الحدث في السيارات

تتميز الخوارزميات المدمجة في مجال السيارات بقيود عالية جدًا من حيث التأخير (latency) والدقة واستهلاك الطاقة. وفي هذا العمل، نقترح تدريب الشبكات العصبية البلازمية (SNNs) مباشرةً على البيانات الناتجة عن الكاميرات الحدثية (event cameras) لتصميم تطبيقات مدمجة سريعة وفعّالة في مجال السيارات. في الواقع، تُعدّ الشبكات العصبية البلازمية نماذج عصبية أكثر واقعية من الناحية البيولوجية، حيث تُبادِل الخلايا العصبية الرسائل عبر نبضات منفصلة وغير متزامنة، وهي طريقة تشغيل طبيعية منخفضة الاستهلاك للطاقة ومناسبة جدًا للمواد الهاردويرية. ونظرًا لأن بيانات الحدث ثنائية (binary) ونادرة التكرار في الفضاء والزمن، فهي تمثل المدخل المثالي للشبكات العصبية البلازمية. ومع ذلك، ظلت أداءاتها حتى الآن غير كافية لمعالجة المشكلات الواقعية في مجال السيارات، مثل اكتشاف الأجسام المعقدة في بيئات غير خاضعة للتحكم. ولحل هذه المشكلة، استفدنا من أحدث التطورات في مجال تغذية الراجعة للنبضات (spike backpropagation)، مثل التعلم عبر المُشتق التبديلية (surrogate gradient learning)، ونموذج LIF المعتمد على المعلمات (parametric LIF)، وبيئة SpikingJelly، بالإضافة إلى تقنية الترميز الجديدة لدينا المسمّاة \textit{مكعب البكسل} (voxel cube) لتدريب أربع شبكات عصبية بلازمية مختلفة مبنية على شبكات تعلم عميق شهيرة: SqueezeNet وVGG وMobileNet وDenseNet. وبهذا، نجحنا في زيادة حجم وتعقيد الشبكات العصبية البلازمية مقارنةً بالدراسات السابقة التي تم نشرها في الأدبيات. وفي هذا البحث، أجرينا تجارب على مجموعتي بيانات حديثتين مخصصتين للسيارات باستخدام كاميرات الحدث، وحققنا نتائج تصنيف تُعتبر الأفضل على مستوى العالم في مجال الشبكات العصبية البلازمية. واستنادًا إلى هذه النتائج، قمنا بدمج شبكاتنا العصبية البلازمية مع نموذج SSD لتقديم أول شبكة عصبية بلازمية قادرة على أداء كشف الأجسام على مجموعة بيانات GEN1 للتحديثات الحدثية المعقدة الخاصة بالسيارات.