Command Palette
Search for a command to run...
التحديد الضعيف المراقب للإجراءات بواسطة نمذجة الانتباه التوليدية
التحديد الضعيف المراقب للإجراءات بواسطة نمذجة الانتباه التوليدية
Baifeng Shi Qi Dai Yadong Mu Jingdong Wang
الملخص
التحديد الزمني للإجراءات الضعيف التدريب هو مشكلة تتعلق بتعلم نموذج لتحديد الإجراءات باستخدام تسميات فقط على مستوى الفيديو. يعتمد الإطار العام بشكل كبير على نشاط التصنيف، الذي يستخدم نموذج انتباه لتحديد الإطارات المرتبطة بالإجراء، ثم تصنيفها إلى فئات مختلفة. يؤدي هذا الأسلوب إلى مشكلة ارتباك السياق مع الإجراء: حيث تُصنف الإطارات السياقية القريبة من مقاطع الإجراء كإطارات إجرائية بحد ذاتها، نظرًا لارتباطها الوثيق بالفئات المحددة. ولحل هذه المشكلة، نقترح في هذا البحث نمذجة احتمال الإطار دون الاعتماد على الفئة (class-agnostic) معتمدًا على انتباه الإطار باستخدام مُشَكِّل التلقائية التغيري الشرطي (Conditional Variational Auto-Encoder - VAE). وبملاحظة أن السياق يُظهر فرقًا ملحوظًا عن الإجراء على مستوى التمثيل، يتم تعلم نموذج احتمالي، أي نموذج VAE الشرطي، لتمثيل احتمالية كل إطارة بالاعتماد على انتباه الإطار. وباستخدام تحسين الاحتمال الشرطي بالنسبة لانتباه الإطار، يتم فصل الإطارات الإجرائية عن غير الإجرائية بشكل فعّال. أظهرت التجارب على مجموعتي بيانات THUMOS14 وActivityNet1.2 تفوق الطريقة المقترحة وفعاليتها في معالجة مشكلة ارتباك السياق مع الإجراء. تم إتاحة الكود الآن على منصة GitHub.