HyperAIHyperAI

Command Palette

Search for a command to run...

التحديد الضعيف المراقب للإجراءات بواسطة نمذجة الانتباه التوليدية

Baifeng Shi Qi Dai Yadong Mu Jingdong Wang

الملخص

التحديد الزمني للإجراءات الضعيف التدريب هو مشكلة تتعلق بتعلم نموذج لتحديد الإجراءات باستخدام تسميات فقط على مستوى الفيديو. يعتمد الإطار العام بشكل كبير على نشاط التصنيف، الذي يستخدم نموذج انتباه لتحديد الإطارات المرتبطة بالإجراء، ثم تصنيفها إلى فئات مختلفة. يؤدي هذا الأسلوب إلى مشكلة ارتباك السياق مع الإجراء: حيث تُصنف الإطارات السياقية القريبة من مقاطع الإجراء كإطارات إجرائية بحد ذاتها، نظرًا لارتباطها الوثيق بالفئات المحددة. ولحل هذه المشكلة، نقترح في هذا البحث نمذجة احتمال الإطار دون الاعتماد على الفئة (class-agnostic) معتمدًا على انتباه الإطار باستخدام مُشَكِّل التلقائية التغيري الشرطي (Conditional Variational Auto-Encoder - VAE). وبملاحظة أن السياق يُظهر فرقًا ملحوظًا عن الإجراء على مستوى التمثيل، يتم تعلم نموذج احتمالي، أي نموذج VAE الشرطي، لتمثيل احتمالية كل إطارة بالاعتماد على انتباه الإطار. وباستخدام تحسين الاحتمال الشرطي بالنسبة لانتباه الإطار، يتم فصل الإطارات الإجرائية عن غير الإجرائية بشكل فعّال. أظهرت التجارب على مجموعتي بيانات THUMOS14 وActivityNet1.2 تفوق الطريقة المقترحة وفعاليتها في معالجة مشكلة ارتباك السياق مع الإجراء. تم إتاحة الكود الآن على منصة GitHub.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp