Command Palette
Search for a command to run...
تعلم الأحداث الفرعية الكامنة في مقاطع الفيديو الخاصة بالأنشطة باستخدام مرشحات الانتباه الزمنية
تعلم الأحداث الفرعية الكامنة في مقاطع الفيديو الخاصة بالأنشطة باستخدام مرشحات الانتباه الزمنية
Piergiovanni AJ Fan Chenyou Ryoo Michael S.
الملخص
في هذا البحث، نُقدِّم مفهومًا جديدًا يُعرف بـ "المرشحات الانتباهية الزمنية"، ونُوضِّح كيف يمكن استخدامها في تمييز الأنشطة البشرية من مقاطع الفيديو. تتكوّن العديد من الأنشطة عالية المستوى غالبًا من أجزاء زمنية متعددة (مثل الفعاليات الفرعية) التي تختلف في المدة أو السرعة، وينصّ هدفنا على تمكين النموذج من تعلُّم هذه البنية الزمنية بشكل صريح باستخدام عدة مرشحات انتباهية، والاستفادة منها في التحسين. تم تصميم هذه المرشحات الزمنية بحيث تكون قابلة للتفاضل بالكامل، مما يسمح بتدريبها من النهاية إلى النهاية مع البنية الأساسية للشبكات العصبية التلافيفية القائمة على الإطارات (frame-based) أو القائمة على المقاطع (segment-based). ويقدّم هذا البحث منهجية لتعلُّم مجموعة من المرشحات الانتباهية الزمنية الثابتة المثلى، والتي يمكن مشاركتها بين مقاطع فيديو مختلفة، كما يُوسِّع هذا المنهج لضبط المرشحات الانتباهية بشكل ديناميكي لكل مقطع فيديو أثناء الاختبار باستخدام شبكات التذكّر الطويلة القصيرة (LSTMs) ذات التكرار. ويتيح هذا التكيف للمرشحات الانتباهية الزمنية تعلُّم الفعاليات الفرعية المخفية المميزة لكل نشاط. ونُثبت تجريبيًا أن مفهوم المرشحات الانتباهية الزمنية المُقترح يُحسّن أداء تمييز الأنشطة، كما نُظهر بصريًا الفعاليات الفرعية المخفية التي تم تعلُّمها.