التعلم من البداية إلى النهاية للكشف عن الأفعال من نظرة سريعة على الإطارات في الفيديوهات

في هذا العمل، نقدم نهجًا كاملاً من النهاية إلى النهاية للكشف عن الأنشطة في الفيديوهات يتعلم مباشرة توقع الحدود الزمنية للأنشطة. فكرتنا الأساسية هي أن عملية الكشف عن الأنشطة هي بطبيعتها عملية مراقبة وتحسين: مراقبة اللحظات في الفيديو، وتحسين الفرضيات حول وقت حدوث النشاط. استنادًا إلى هذه الرؤية، صاغنا نموذجنا على أنه وكيل مستند إلى شبكة عصبية متكررة يتفاعل مع الفيديو عبر الزمن. يقوم الوكيل بمراقبة الإطارات الفيديوية ويقرر كل من أين ينظر بعد ذلك ومتى يصدر تنبؤًا. نظرًا لأن التراجع الخلفي غير كافٍ في هذا الإعداد غير القابل للمفاضلة، نستخدم طريقة REINFORCE لتعلم سياسة قرارات الوكيل. حقق نموذجنا أفضل النتائج المعاصرة على مجموعتي بيانات THUMOS'14 وActivityNet بينما كان يراقب فقط جزءًا صغيرًا (2% أو أقل) من إطارات الفيديو.