الشبكات المحايدة للتحويلة ذات الوحدات المتنافسة الخطية: تطبيق على الترجمة من النهاية إلى النهاية في اللغة العربية إلى الإنجليزية

إن أتمتة ترجمة لغة الإشارة (SLT) تمثل تطبيقًا واقعيًا صعبًا. وعلى الرغم من الأهمية الاجتماعية لهذا المجال، لا يزال التقدم البحثي فيه محدودًا إلى حد كبير. وتمثّل نقطة محورية في هذا السياق أن الطرق الحالية التي تحقق أداءً مقبولًا تتطلب توفر مجموعات مرجعية (groundtruth) لسلسلة الكلمات المفتاحية (gloss sequence)، وهي مجموعات يصعب جدًا الحصول عليها. وفي هذه الورقة، نخفف من هذه الحاجة من خلال تقديم نموذج ترجمة لغة إشارة من النهاية إلى النهاية (end-to-end) لا يتطلب استخدامًا صريحًا للكلمات المفتاحية؛ بل يكتفي بوجود بيانات نصية مرجعية فقط. وهذا يختلف جذريًا عن النماذج الحالية من النوع من النهاية إلى النهاية التي تعتمد على بيانات الكلمات المفتاحية كمصدر مرجعي، سواء كانت هذه البيانات مُدرَّسة في مرحلة متوسطة من النموذج، أو كمخرج متزامن يتم تدريبه معًا مع نموذج ترجمة لغة الإشارة. يُشكّل نهجنا شبكة ترانسفيرمر (Transformer) تضم نوعًا جديدًا من الطبقات، يجمع بين: (أ) طبقات "الرابح المحلي يأخذ الكل" (LWTA) ذات عينات رابحة عشوائية، بدلًا من الطبقات التقليدية (ReLU)؛ (ب) أوزان عشوائية ذات توزيعات بعدية (posterior distributions) تُقدَّر باستخدام الاستدلال التبايني (variational inference)؛ (ج) تقنية ضغط الأوزان أثناء التقييم (inference time)، والتي تستفيد من التباين المقدر للوزن لتنفيذ ضغط كبير جدًا، شبه خالي من الخسارة. ونُظهر أن نهجنا يمكنه تحقيق أفضل نتيجة مُبلغ عنها حاليًا من حيث مؤشر BLEU-4 على معيار PHOENIX 2014T، دون استخدام كلمات مفتاحية أثناء تدريب النموذج، وبما يقلل من الحجم الذاكرةي بنحو 70٪ أو أكثر.