Command Palette
Search for a command to run...
التعلم المستند إلى الاقتراحات للحالات المتعددة لتحديد الأفعال الزمنية بتوافقي ضعيف
التعلم المستند إلى الاقتراحات للحالات المتعددة لتحديد الأفعال الزمنية بتوافقي ضعيف
Huan Ren¹, Wenfei Yang¹, Tianzhu Zhang¹,², Yongdong Zhang¹
الملخص
التصنيف الزمني للأفعال تحت الإشراف الضعيف يهدف إلى تحديد موقع وتعرف الأفعال في مقاطع الفيديو غير المقطوعة باستخدام فقط تسميات الفئات على مستوى الفيديو أثناء التدريب. بدون تسميات على مستوى الحالة، تتبع معظم الطرق الموجودة إطار التعلم متعدد الحالات القائم على المقاطع (S-MIL)، حيث يتم إشراف توقعات المقاطع من خلال تسميات الفيديوهات. ومع ذلك، فإن الهدف من الحصول على درجات على مستوى المقاطع أثناء التدريب غير متسق مع الهدف من الحصول على درجات على مستوى الاقتراحات أثناء الاختبار، مما يؤدي إلى نتائج غير مثلى. لمعالجة هذه المشكلة، نقترح إطارًا جديدًا للتعلم متعدد الحالات القائم على الاقتراحات (P-MIL) يقوم بتصنيف الاقتراحات المرشحة مباشرة في مرحلتي التدريب والاختبار، والذي يشمل ثلاثة تصاميم رئيسية: 1) وحدة استخراج الميزات المقارنة المحيطة لتقليل الأفعال القصيرة المميزة بالنظر إلى المعلومات المقارنة المحيطة، 2) وحدة تقييم اكتمال الاقتراح لمنع الاقتراحات ذات الجودة المنخفضة بإرشاد من التسميات الوهمية للاكتمال، و3) خسارة ثبات الرتبة على مستوى الحالة لتحقيق الكشف الدقيق باستغلال مكملية أنماط RGB وFLOW. تظهر النتائج التجريبية الشاملة على مقعدين صعبين يشملان THUMOS14 وActivityNet الأداء الأفضل لطريقتنا.