HALSIE: نهج هجين للتعلم على التجزئة من خلال استغلال صورية وسائط الأحداث بشكل متزامن

تُسجِّل كاميرات الحدث التغيرات في شدة الضوء لكل بكسل لتوليد تدفقات "حدث" غير متزامنة. وتُظهر إمكانات كبيرة في استرجاع الخرائط الدلالية بدقة ضمن الأنظمة المستقلة في الزمن الفعلي، نظرًا لارتفاع دقة التوقيت ونطاق الديناميكية العالي (HDR) مقارنة بالكاميرات التقليدية. ومع ذلك، تعاني الطرق الحالية للتقسيم القائمة على الحدث من أداء غير مثالي، نظرًا لأن هذه الأحداث الكثيفة زمنيًا تقيس فقط المكون المتغير في الإشارة البصرية، مما يحد من قدرتها على ترميز السياق المكاني الكثيف مقارنة بالإطارات. ولحل هذه المشكلة، نقترح إطارًا تعلّميًا هجينًا من الطرفين (end-to-end) يُسمى HALSIE، يعتمد على ثلاث مفاهيم رئيسية لتقليل تكلفة الاستنتاج بنسبة تصل إلى 20 مرة مقارنة بالأساليب السابقة مع الحفاظ على أداء مشابه: أولاً، خطة بسيطة وفعالة للتعلّم عبر المجالات لاستخراج تمثيلات مكانيّة زمنية مكملة من كل من الإطارات والحوادث. ثانيًا، هيكل مُصمم خصيصًا يعتمد على مُشغّل مزدوج يدمج فروعًا من الشبكة العصبية الشبيهة بالدماغ (SNN) والشبكة العصبية الاصطناعية (ANN) لتقليل التأخير مع الحفاظ على تجميع الميزات عبر المجالات. ثالثًا، مُزجّج مؤشرات متعددة المقاييس لنمذجة تمثيلات غنية للتمثيلات المدمجة. تُمكّن هذه الخصائص HALSIE من بناء بنية خفيفة جدًا تحقق أداءً قياسيًا في التقسيم على مجموعات بيانات DDD-17 وMVSEC وDSEC-Semantic، مع كفاءة في المعلمات تصل إلى 33 مرة أعلى، وتُظهر تكلفة استنتاج مواتية (17.9 ميجا جول لكل دورة). كما تقدّم دراستنا التحليلية رؤى جديدة حول خيارات التصميم الفعّالة التي قد تكون مفيدة في أبحاث مهام الرؤية الأخرى.