ESS: تعلّم التجزئة المعنوية القائمة على الأحداث من الصور الثابتة

يظل استرجاع معلومات دلالية دقيقة في الظروف الصعبة ذات النطاق الديناميكي العالي (HDR) والسرعة العالية تحديًا مفتوحًا للخوارزميات القائمة على الصور، نظرًا لحدوث تدهور شديد في الصور. وتعتبر كاميرات الحدث (Event Cameras) واعدة في معالجة هذه التحديات، نظرًا لامتلاكها نطاقًا ديناميكيًا أعلى بكثير، ومقاومتها للضبابية الناتجة عن الحركة. ومع ذلك، لا يزال التصنيف الدلالي القائم على كاميرات الحدث في مراحله الأولى، ويرجع ذلك بشكل رئيسي إلى نقص البيانات المُصنَّفة عالية الجودة. في هذه الدراسة، نقدّم ESS (التصنيف الدلالي القائم على الحدث)، والذي يعالج هذه المشكلة من خلال نقل مهمة التصنيف الدلالي مباشرة من مجموعات بيانات الصور المُصنَّفة إلى بيانات الحدث غير المُصنَّفة باستخدام التكيف بين المجالات غير المراقب (UDA). مقارنةً بالأساليب الحالية لـ UDA، فإن منهجنا يُنسق بين تمثيلات الحدث المتكررة والمستقلة عن الحركة، مع تمثيلات الصور. وبسبب ذلك، لا يحتاج منهجنا إلى بيانات فيديو، ولا إلى محاذاة فردية للبكسل بين الصور والحدث، وأهم ما في الأمر، لا يتطلب تخيّل الحركة من صور ثابتة. بالإضافة إلى ذلك، نقدّم DSEC-Semantic، وهي أول مجموعة بيانات كبيرة القاعدة القائمة على الحدث وتمتلك تسميات دقيقة على مستوى التفاصيل الدقيقة. ونُظهر أن استخدام التسميات الصورية وحدها يُؤدي إلى تفوق ESS على الأساليب الحالية لـ UDA، وباستخدام التسميات الحدثية معًا، يتفوق حتى على أحدث الأساليب المراقبة على كل من DDD17 وDSEC-Semantic. وأخيرًا، يتميّز ESS بأنه أداة عامة، مما يُتيح الاستفادة من كمّ هائل من مجموعات بيانات الصور المُصنَّفة الموجودة مسبقًا، ويفتح الباب أمام اتجاهات بحثية جديدة ومثيرة في مجالات لم تكن ممكنة سابقًا للكاميرات القائمة على الحدث.