ALERT-Transformer: جسر بين التعلم الآلي غير المتزامن والمتزامن للبيانات الزمكانية القائمة على الأحداث في الزمن الحقيقي

نهدف إلى تمكين المعالجة الكلاسيكية للبيانات الفضائية الزمنية المستمرة والشديدة الندرة التي تُولِّدها أجهزة الاستشعار القائمة على الأحداث باستخدام نماذج التعلم الآلي الكثيفة. نقترح نموذجًا هجينًا مبتكرًا يتألف من استشعار غير متزامن ومعالجة متزامنة، يدمج عدة أفكار: (1) تضمين مبني على نماذج PointNet — ويدعى وحدة ALERT — التي تُمكن من دمج الأحداث الجديدة باستمرار وإسقاط الأحداث القديمة بفضل آلية التسرب، (2) قراءة مرنة للبيانات المضمنة تسمح بتغذية أي نموذج لاحق بأحدث الميزات المُحدَّثة في أي معدل عينة مطلوب، (3) الاستفادة من ندرة المدخلات عبر نهج مبني على الحزم مستوحى من نماذج Vision Transformer لتحسين كفاءة الطريقة. ثم يتم معالجة هذه المضمنات بواسطة نموذج محول (Transformer) تم تدريبه على التعرف على الأجسام والGESTURES. باستخدام هذا النهج، نحقق أداءً يُنافس الحد الأقصى الممكن في المجال، مع تأخير أقل مقارنة بالمنافسين. كما نُظهر أن نموذجنا غير المتزامن يمكنه العمل بجميع معدلات العينة المطلوبة.