البحث السريع والبطيء: الكشف عن الأشياء في الفيديو المحمول بمساعدة الذاكرة

باستطاعة نظام الرؤية البشري تكوين تمثيل غني للبيئة المعقدة من خلال ثبات العين لمدة جزء من الثانية، مما يسهل فهمًا شاملًا يساعد في التعرف على الأشياء واكتشافها. يُعرف هذا الظاهرة بـ "فهم ملخص المشهد" (gist) ويتم تحقيقه بالاعتماد على المعرفة السابقة ذات الصلة. تتناول هذه الورقة السؤال المماثل حول ما إذا كان استخدام الذاكرة في أنظمة الرؤية الحاسوبية يمكن أن يحسن دقة اكتشاف الأشياء في تدفقات الفيديو، وكذلك يقلل من وقت الحساب. من خلال دمج مستخلصات الخصائص التقليدية مع مستخلصات خفيفة الوزن للغاية والتي تحتاج فقط إلى التعرف على ملخص المشهد، نظهر أنه يتم استيفاء الحسابات الدنيا اللازمة لإنتاج اكتشافات دقيقة عندما تكون الذاكرة الزمنية موجودة. بالإضافة إلى ذلك، نوضح أن الذاكرة تحتوي على معلومات كافية لتطبيق خوارزميات التعلم التعزيزي لتعلم سياسة استدلال متكيفة. حققت نموذجتنا أداءً رائدًا بين الأساليب المتنقلة على مجموعة بيانات Imagenet VID 2015، بينما تعمل بسرعات تصل إلى أكثر من 70 إطارًا في الثانية على هاتف Pixel 3.