تعلم التمثيلات من البداية إلى النهاية لبيانات الأحداث غير المتزامنة

الكاميرات الحدثية هي أجهزة استشعار بصرية تسجل تيارات غير متزامنة لتغييرات السطوع لكل بكسل، والتي تُعرف بـ "الأحداث" (events). وتتميز هذه الكاميرات بمزايا جذابة مقارنة بالكاميرات القائمة على الإطارات في مجال الرؤية الحاسوبية، مثل الدقة الزمنية العالية، والحد الديناميكي العالي، وعدم وجود تشويش حركي. نظرًا للتكوين الزماني-المكاني النادر وغير المنتظم للإشارة الحدثية، فإن خوارزميات التعرف على الأنماط عادة ما تقوم بتجميع الأحداث في تمثيل قائم على الشبكة ومن ثم معالجته بواسطة أنبوب رؤية قياسي، مثل شبكة العصبيات المتكررة (CNN).في هذا العمل، نقدم إطارًا عامًا لتحويل تيارات الأحداث إلى تمثيلات قائمة على الشبكة من خلال سلسلة من العمليات القابلة للمفاضلة. يأتي إطارنا مع ميزتين رئيسيتين: (i) يسمح بتعلم تمثيل الإدخال الحدثي مع الشبكة المخصصة للمهمة بطريقة شاملة من البداية إلى النهاية، و(ii) يضع تصنيفًا يوحّد معظم التمثيلات الحدثية الموجودة في الأدب ويحدد تمثيلات جديدة.عمليًا، نظهر أن نهجنا لتعلم التمثيل الحدثي بشكل شامل من البداية إلى النهاية يؤدي إلى تحسين بنسبة حوالي 12% في تقدير الجريان البصري والتعرف على الأجسام مقارنة بأحدث الأساليب.