تعلم الأفعال التبايني المُعزز بالهيكل العظمي باستخدام LSTM ذات الزخم للاعتراف بالأفعال دون إشراف

التعرف على الأفعال من خلال بيانات الهيكل ثلاثية الأبعاد هو موضوع مهم ناشئ في السنوات الأخيرة. تركز معظم الطرق الحالية إما على استخراج وصفات يدوية الصنع أو تعلم تمثيلات الأفعال من خلال نماذج التعلم الإشرافي التي تتطلب كميات كبيرة من البيانات المصنفة. في هذا البحث، نقترح لأول مرة نموذج تعلم أفعال تبايني يُسمى AS-CAL، يمكنه الاستفادة من تعزيزات مختلفة لبيانات الهيكل غير المصنفة لتعلم تمثيلات الأفعال بطريقة غير إشرافية. بشكل محدد، اقترحنا أولاً مقارنة التشابه بين حالات التعزيز (الاستعلام والمرجع) للسلسلة الزمنية للهيكل الداخلي، والتي يتم تحويلها بواسطة استراتيجيات تعزيز متعددة جديدة، لتعلم أنماط الفعل الذاتية ("ثبات النمط") لتحويلات الهيكل المختلفة. ثانيًا، لتشجيع تعلم ثبات النمط بتمثيلات فعل أكثر اتساقًا، اقترحنا LSTM بالزخم، والذي يتم تنفيذه كمتوسط حركي قائم على الزخم لمُشفِّر الاستعلامات المستند إلى LSTM، لترميز الديناميكيات طويلة المدى للسلسلة المرجعية. ثالثًا، قدمنا طابورًا لتخزين المفاتيح المرمزَّة، مما يسمح لنموذجنا باستعادة استخدام المفاتيح السابقة بمرنٍ وبناء قاموس أكثر اتساقًا لتحسين التعلم التبايني. رابعًا وأخيرًا، عن طريق متوسط الخفية زمنيًا للأحوال التي يتعلمها مُشفِّر الاستعلامات، تم اقتراح تمثيل جديد يُسمى ترميز الفعل التبايني (CAE) للتعبير بفعالية عن أفعال الإنسان. تظهر التجارب الواسعة أن نهجنا يحسن عادةً الطرق اليدوية الحالية بنسبة 10-50% في دقة المركز الأول، ويمكنه تحقيق أداء مكافئ أو حتى أفضل من العديد من الطرق الإشرافية.