XLS-R: التعلم التمثيلي للصوت متعدد اللغات المستند إلى التعلم ذاتي على نطاق واسع

تقدم هذه الورقة البحثية نموذج XLS-R، وهو نموذج على نطاق واسع لتعلم تمثيلات الصوت عبر اللغات، مبني على منهج wav2vec 2.0. تم تدريب النماذج التي تصل إلى 2 مليار معلمة على ما يقارب نصف مليون ساعة من بيانات الصوت الصوتي العامة المتوفرة بلغات 128 لغة، وهو ما يُعدّ ترتيبًا من الدرجة الواحدة أكثر من كمية البيانات العامة المتوفرة في أحدث الأبحاث السابقة المعروفة. تغطي تقييماتنا طيفًا واسعًا من المهام، والقطاعات، وأنماط البيانات، واللغات، سواءً في الحالات ذات الموارد العالية أو المنخفضة. على معيار ترجمة الصوت CoVoST-2، نحقق تحسنًا في أفضل الأداء السابق بمتوسط 7.4 نقطة BLEU عبر 21 اتجاهًا للترجمة إلى اللغة الإنجليزية. وفي مجال التعرف على الصوت، يتفوق نموذج XLS-R على أفضل النماذج السابقة المعروفة في مجموعات BABEL وMLS وCommonVoice وVoxPopuli، حيث يقلل من معدلات الخطأ بنسبة 14% إلى 34% بشكل متوسط. كما يُحدّد XLS-R أداءً جديدًا في ترقيم اللغة على مجموعة VoxLingua107. علاوةً على ذلك، نُظهر أن نموذجًا كبيرًا بما يكفي يمكنه أن يتفوق على التدريب المسبق المحدود باللغة الإنجليزية عند ترجمة الصوت الإنجليزي إلى لغات أخرى، وهي حالة تُعدّ مُفضّلة للتدريب المسبق أحادي اللغة. نأمل أن يسهم نموذج XLS-R في تحسين مهام معالجة الصوت لعدد أكبر من لغات العالم.