Ecsnet: التعلم الخاص بالسمات المكانية-الزمنية للكاميرا الحدثية

يمكن للكاميرات الحسية العصبية (neuromorphic event cameras) استشعار الهياكل الهندسية الخفية والدلائل الحركية لمشهد معين بكفاءة من خلال إنتاج إشارات حدثية غير متزامنة ونادرة. وبسبب التوزيع غير المنتظم لهذه الإشارات الحدثية، يظل التحدي الكبير في كيفية استغلال المعلومات الغنية عبر الزمن والمكان فيها لأغراض التعرف. تميل الطرق الحالية إلى معالجة الأحداث كتمثيلات شبيهة بالصور الكثيفة أو كسلسلة من النقاط. ومع ذلك، فإنها إما تعاني من تدمير شديد لخاصية الندرة في بيانات الحدث، أو تفشل في ترميز معلومات مكانية قوية. وللتوصل إلى الاستفادة الكاملة من الندرة المتأصلة في هذه البيانات مع التوفيق بين المعلومات المكانية والزمنية، نقدم تمثيلًا مكثفًا للحدث يُسمى سلسلة سحابة الحدث ثنائية الأبعاد - زمن واحد (2D-1T ECS). ونُركّب هذا التمثيل مع إطار عمل جديد خفيف الوزن لتعلم المكان والزمن (ECSNet)، يتكيف مع مهام التصنيف الكائني وتمييز الحركات. ويرتكز جوهر هذا الإطار على وحدة علاقات مكانية هرمية. وباستخدام وحدة عينة مبنية على الأسطح الحدثية المصممة خصيصًا، ووحدة تطبيع حدثية محلية لتعزيز ترميز العلاقات بين الأحداث، تتعلم هذه الوحدة ميزات هندسية قوية من السحابات الحدثية ثنائية الأبعاد. كما نقترح وحدة انتباه حركي لالتقاط السياق الزمني الطويل بكفاءة أثناء تطور سلسلة السحابة الزمنية (1T). وتبين التجارب العملية أن إطار عملنا يحقق أداءً يُنافس أو يتفوق على أفضل النتائج الحالية. وبشكل مهم، يتعاون نهجنا بشكل جيد مع ندرة بيانات الحدث دون الحاجة إلى عمليات معقدة، مما يؤدي إلى تكاليف حوسبة منخفضة وسرعات استنتاج متميزة.