شبكة ذاكرة عصبية هيراركية لمعالجة الأحداث منخفضة التأخير

تُقدّم هذه الورقة معمارية شبكة عصبية منخفضة التأخير لمهام التنبؤ الكثيف القائمة على الأحداث. تُشفّر البنى التقليدية لمحتوى المشهد بالكامل بمعدل ثابت، بغض النظر عن خصائصها الزمنية. بدلًا من ذلك، تُشفّر الشبكة المقترحة محتوى المشهد بمقاييس زمنية مناسبة حسب سرعة حركته. نحقّق هذا من خلال بناء هرم زمني باستخدام ذاكرات خفية متراكبة تعمل بسرعات مختلفة. وباستخدام تدفقات أحداث منخفضة التأخير، تقوم الذاكرة متعددة المستويات بسحب محتويات المشهد الديناميكية إلى الثابتة تدريجيًا من خلال نقل المعلومات من الوحدات السريعة إلى الوحدات البطيئة. وتقلّل هذه المعمارية ليس فقط من تكرار البيانات في البنى التقليدية، بل تستغل أيضًا الاعتماديات طويلة المدى. علاوةً على ذلك، تُشفّر تمثيلات الأحداث القائمة على الانتباه بكفاءة تدفقات الأحداث النادرة داخل خلايا الذاكرة. وقد أجرينا تقييمات واسعة على ثلاث مهام تنبؤ كثيف قائمة على الأحداث، حيث تفوقت الطريقة المقترحة على الطرق الحالية من حيث الدقة والتأخير، مع إظهار قدرات فعّالة على دمج الأحداث والصور. يمكن الوصول إلى الشفرة من خلال الرابط: https://hamarh.github.io/hmnet/