التسمية الدقيقة العشوائية للغات الإشارات متعددة الحالات للاعتراف باللغة الإشارية المستمرة

في هذه الورقة، نقترح نموذجًا احتماليًا جديدًا لعناصر نظام معالجة اللغة الإشارية المستمرة (CSLR) يعتمد على معالج الترانسفورمر وتصنيف الزمن المتصل المرتبط بالشبكات العصبية (CTC). وبشكل أساسي، نُمثل كل مصطلح إشارة (gloss) بحالة متعددة، حيث يُعتبر عدد هذه الحالات متغيرًا عشوائيًا من نوع فئوي يتبع توزيعًا احتماليًا يتم تعلمه، مما يوفر علامات دقيقة وعشوائية على المستوى الدقيق لتدريب معالج CTC. كما نقترح آلية جديدة لحذف الإطارات بشكل عشوائي، وطريقة لوقف التدرج (gradient stopping) للتعامل مع مشكلة التفوق المفرط (overfitting) الشديد الناتجة عن تدريب نموذج الترانسفورمر باستخدام خسارة CTC. وتساهم هاتان الطريقتان أيضًا في تقليل حسابات التدريب من حيث الوقت والمساحة بشكل كبير. وقد قُمنا بتقييم نموذجنا على مجموعات بيانات شهيرة لـ CSLR، وأظهرنا فعاليته مقارنةً بالأساليب الحالية المتطورة.