GET: محول الحدث المجموعات للرؤية القائمة على الحدث

تُعد كاميرات الحدث نوعًا من المستشعرات العصبية الحديثة التي تشهد اهتمامًا متزايدًا. تعتمد الخلفيات القائمة على بيانات الحدث حاليًا بشكل رئيسي على التصاميم القائمة على الصور لاستخراج المعلومات المكانية داخل الصور التي يتم تحويلها من الأحداث، مما يؤدي إلى إغفال خصائص الأحداث المهمة مثل الزمن والقطبية. ولحل هذه المشكلة، نقترح خلفية جديدة من نوع Vision Transformer قائمة على المجموعات للرؤية المستندة إلى الأحداث، تُسمى "Transformer مجموعات الأحداث" (GET)، والتي تفصل بين المعلومات الزمنية-القطبية والمعلومات المكانية طوال عملية استخراج الميزات. وبشكل خاص، نُقدِّم تمثيلًا جديدًا للأحداث لـ GET يُسمى "مُدخل المجموعة" (Group Token)، والذي يجمِّع الأحداث غير المتزامنة بناءً على توقيتاتها وقطبيتها. ثم تُطبِّق GET وحدة الانتباه الذاتي المزدوج للأحداث (Event Dual Self-Attention) ووحدة تجميع مُدخلات المجموعة (Group Token Aggregation) لتمكين تواصل وتكامل فعّال للميزات في المجالات المكانية والزمنية-القطبية معًا. بعد ذلك، يمكن دمج GET مع مهام متعددة في المهام التالية من خلال الاتصال بواجهات مختلفة. وقد تم تقييم طريقتنا على أربع مجموعات بيانات تصنيف مستندة إلى الأحداث (Cifar10-DVS، N-MNIST، N-CARS، وDVS128Gesture) وبيانات كشف كائنات مستندة إلى الأحداث (1Mpx وGen1)، وقد أظهرت النتائج أن GET تتفوّق على الطرق الحديثة الأخرى ذات المستوى الرائد. يمكن الوصول إلى الكود عبر الرابط التالي: https://github.com/Peterande/GET-Group-Event-Transformer.