التعلم غير المشرف لتقسيم الحركة الدلالي المتناسق

في هذا البحث، نقوم بدراسة بناء معمارية ترجمة متتابعة من الحركة إلى اللغة وتناسقها. الهدف هو ترجمة إدخالات التقاط الحركة إلى وصف طبيعي باللغة الإنجليزية بحيث يتم إنشاء هذه الوصفات بشكل متزامن مع الأفعال المنفذة، مما يمكّن التجزئة الدلالية كمنتج ثانوي، دون الحاجة إلى بيانات تدريب متزامنة. نقترح صيغة متكررة جديدة للاهتمام المحلي تكون مناسبة لإنشاء النص بشكل حي (متزامن)، بالإضافة إلى معمارية محسنّة لمُشفِّر الحركة تكون أكثر ملاءمة للبيانات الصغيرة ولإنشاء النص بشكل متزامن. نقيم كلتا المساهمتين في تجارب منفصلة باستخدام مقياس BLEU4 القياسي، وكذلك قياس بسيط للتكافؤ الدلالي، على مجموعة بيانات KIT للحركة واللغة. في تجربة لاحقة، نقيّم جودة التناسق بين النص المُنشأ في طرقنا المقترحة من خلال عدة مقاييس تقييم. نجد أن كلتي المساهمتين في آلية الاهتمام والمعمارية المُشفِّرة تحسنان بشكل إضافي جودة النص المُنشأ (BLEU والتكافؤ الدلالي) وكذلك جودة التناسق. رمزنا البرمجي متوفّر على الرابط التالي:https://github.com/rd20karim/M2T-Segmentation/tree/main