الانغراسات التوليدية الموجهة نحوياً لتمييز الحركات الهيكلية بدون تدريب مسبق

نقدم SynSE، وهي طريقة توليدية جديدة موجهة نحو التركيب للتعلم بدون أمثلة (Zero-Shot Learning - ZSL). يتعلم نهجنا الشامل تدريجياً فضاءات تضمين توليدية محددة داخل وعبر الوسائط المعنية (البصرية، اللغوية). يتم تعريف القيود بين الوسائط في فضاء التضمين لسلسلة الأفعال وتضمين الكلمات المصنفة حسب أجزاء الكلام (Parts of Speech - PoS) في وصف الفعل المقابل. نطبق SynSE على مهمة التعرف على سلسلة الأفعال المستندة إلى الهيكل العظمي. تتيح اختيارات تصميمنا لـ SynSE التعميم التركيبي، أي التعرف على سلاسل تحتوي على كلمات لم يتم التعامل معها أثناء التدريب. كما نوسع منهجيتنا لمعالجة مشكلة التعلم بدون أمثلة المعممة (Generalized Zero-Shot Learning - GZSL) عبر آلية بوابة مستندة إلى الثقة. نحن أول من قدم نتائج للتعرف على الأفعال بدون أمثلة باستخدام بيانات الهيكل العظمي NTU-60 و NTU-120 ذات المقاسات المتعددة. تظهر نتائجنا أن SynSE حققت أفضل الأداء في كل من إعدادات ZSL و GZSL مقارنة بالأسس القوية على بيانات NTU-60 و NTU-120. يمكن الوصول إلى الكود والنموذج المدرب مسبقًا عبر الرابط: https://github.com/skelemoa/synse-zsl