HyperAIHyperAI

Command Palette

Search for a command to run...

MaskCLR: تعلّم تناصلي موجه بالانتباه لتمثيل العمل المتين

Alexandre Alahi Mariam Hassan Mohamed Abdelfattah

الملخص

تُركّز نماذج التعرف على الحركات العظمية المستندة إلى المحولات الحالية على مجموعة محدودة من المفاصل وأنماط الحركة من الدرجة الدنيا للتنبؤ بفئات الحركات. ونتيجة لذلك، يحدث انخفاض كبير في الأداء عند حدوث اضطرابات صغيرة في الهيكل العظمي أو عند تغيير مُقدّم الموضع بين مرحلتي التدريب والاختبار. في هذا العمل، نقدّم MaskCLR، وهي طريقة جديدة للتعلم المقارن المُقنَّع (Masked Contrastive Learning) لتحسين التعرف على الحركات العظمية بشكل موثوق. نقترح استراتيجية تسمية احتمالية موجهة بالانتباه (Attention-Guided Probabilistic Masking) لتعطيل المفاصل الأكثر أهمية، وتشجيع النموذج على استكشاف مجموعة أوسع من المفاصل التمييزية. علاوةً على ذلك، نقترح نموذجًا تعلميًا متعدد المستويات (Multi-Level Contrastive Learning) لفرض أن تمثيلات الهياكل العظمية القياسية والمقنعة تكون مميزة حسب الفئة، أي أكثر اكتمالاً داخل كل فئة وأكثر انتشارًا بين الفئات المختلفة. يساعد هذا النهج النموذج على استيعاب المعاني الحركية العليا بدلًا من التغيرات من الدرجة الدنيا في المفاصل، ويمكن دمجه بسهولة في النماذج المستندة إلى المحولات. وبلا فقدان العمومية، ندمج MaskCLR مع ثلاث نوى محولات: المحول البسيط (vanilla transformer)، وDSTFormer، وSTTFormer. أظهرت التجارب الواسعة على مجموعات بيانات NTU60 وNTU120 وKinetics400 أن MaskCLR تتفوّق باستمرار على الطرق السابقة الأفضل من حيث الأداء على الهياكل العظمية القياسية والمضطربة المستمدة من مقدّمات موضع مختلفة، محققة دقة أعلى، وتحسينًا في التعميم والثبات. موقع المشروع: https://maskclr.github.io.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp