HyperAIHyperAI

Command Palette

Search for a command to run...

التعلم متعدد المستويات للدلالات والسلوك التكيفي للتحديد الزمني للإجراءات المُعَلَّم ضعيفًا

Cerui Dong Zilei Wang Zhilin Li

الملخص

تهدف التوصيف الزمني للإجراءات الضعيف المراقب إلى تحديد وتحديد مواقع حالات الإجراءات في مقاطع الفيديو غير المُقطَّعة باستخدام علامات فقط على مستوى الفيديو. عادةً، تعتمد معظم الطرق على إطار عمل التعلم متعدد المثيلات (Multiple Instance Learning) الذي يستخدم استراتيجية الـ top-K لاختيار المقاطع البارزة تمثيلاً للفيديو بأكمله. نتيجة لذلك، لا يمكن تعلُّم معلومات الفيديو الدقيقة، مما يؤدي إلى أداء ضعيف في تصنيف الإجراءات وتحديد مواقعها. في هذا البحث، نقترح شبكة تعلُّم متعددة المستويات للسياق والعملية التلقائية (SAL)، والتي تتكون أساساً من فرع تعلُّم السياق متعدد المستويات (MSL) وفرع تعلُّم العملية التلقائية (AAL). يُدخل فرع MSL معاني فيديو من الدرجة الثانية، التي يمكنها التقاط المعلومات الدقيقة داخل الفيديو وتحسين أداء التصنيف على مستوى الفيديو. علاوةً على ذلك، نُطبّق هذه المعاني من الدرجة الثانية على مقاطع الإجراء لتعزيز الفروق بين الإجراءات المختلفة. أما فرع AAL، فيستخدم علامات افتراضية (pseudo labels) لتعلم معلومات الإجراءات المستقلة عن الفئة، ويُطبّق استراتيجية مزج مقاطع الفيديو (mix-up) لتعزيز قدرة التعميم للخلفية، ويُضيف قناع عملية تلقائي (adaptive actionness mask) لموازنة الجودة والكمية للعلامات الافتراضية، مما يُحسّن استقرار التدريب. أظهرت التجارب الواسعة أن SAL تحقق نتائج من أفضل النتائج الحالية على ثلاث معايير (benchmarks). الكود: https://github.com/lizhilin-ustc/SAL


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
التعلم متعدد المستويات للدلالات والسلوك التكيفي للتحديد الزمني للإجراءات المُعَلَّم ضعيفًا | مستندات | HyperAI