خطوة: التعلم التدريجي المكاني-الزماني لاكتشاف أفعال الفيديو

في هذا البحث، نقترح نظام كشف الأنشطة المكاني-زماني التدريجي (Spatio-TEmporal Progressive - STEP)، وهو إطار تعلم تدريجي للكشف عن الأنشطة المكانية-الزمانية في مقاطع الفيديو. يبدأ أسلوبنا من عدد قليل من المقترحات الأولية على نطاق واسع، ثم يقوم بتحسين هذه المقترحات تدريجياً نحو الأنشطة خلال عدة خطوات. بهذه الطريقة، يمكن الحصول تدريجياً على مقترحات ذات جودة عالية (أي متوافقة مع حركات الأنشطة) في الخطوات اللاحقة باستخدام خرجات الانحدار من الخطوات السابقة. في كل خطوة، نقوم بتمديد المقترحات زمنياً بشكل متكيف لدمج المزيد من السياق الزمني المرتبط. بالمقارنة مع الأعمال السابقة التي تقوم بكشف الأنشطة في عملية واحدة، فإن إطارنا للتعلم التدريجي قادر على التعامل بشكل طبيعي مع النقل المكاني داخل أنابيب الأنشطة، مما يوفر طريقة أكثر فعالية لنمذجة البيانات المكانية-الزمانية. قمنا بتقييم أسلوبنا بشكل مكثف على مجموعة بيانات UCF101 ومجموعة بيانات AVA، وأظهرنا نتائج كشف أفضل. وبشكل ملحوظ، حققنا دقة mAP بنسبة 75.0% و18.6% على المجموعتين باستخدام ثلاث خطوات تدريبية فقط ومع استخدام 11 و34 مقترحاً أولياً على التوالي.