متغير الذاكرة والتوقع لفهم الأفعال عبر الإنترنت

معظم الأنظمة التنبؤية الحالية هي طرق تعتمد على الذاكرة، والتي تحاول تقليد قدرة الإنسان على التنبؤ من خلال استخدام آليات ذاكرة متنوعة وقد تقدمت في نمذجة الاعتماد الزمني للذاكرة. ومع ذلك، فإن ضعفًا واضحًا لهذا النموذج هو أنه يمكنه فقط نمذجة اعتماد تاريخي محدود ولا يستطيع تجاوز الماضي. في هذا البحث، نعيد النظر في الاعتماد الزمني لتطور الأحداث ونقترح نموذجًا جديدًا يعتمد على الذاكرة والتقدير لنمذجة الهيكل الزمني الكامل، بما في ذلك الماضي والحاضر والمستقبل. استنادًا إلى هذه الفكرة، نقدم Transformer ذاكرة وتقدير (MAT)، وهو نهج يعتمد على الذاكرة والتقدير لمعالجة مهام الكشف عن الأنشطة عبر الإنترنت والتنبؤ بها. بالإضافة إلى ذلك، بفضل التفوق الذاتي لـ MAT، يمكنه معالجة مهام الكشف عن الأنشطة عبر الإنترنت والتنبؤ بها بطريقة موحدة. تم اختبار النموذج المقترح MAT على أربعة مقاييس صعبة هي TVSeries وTHUMOS'14 وHDD وEPIC-Kitchens-100، لمهام الكشف عن الأنشطة عبر الإنترنت والتنبؤ بها، وأظهر تفوقًا كبيرًا على جميع الطرق الحالية. الرمز متاح على الرابط https://github.com/Echo0125/Memory-and-Anticipation-Transformer.