نموذج تحويل Librispeech مع تصحيح داخلي لنموذج لغوي مسبق

نقدّم نموذج المحول الخاص بنا على مجموعة بيانات Librispeech. ندرس مختلف التراكيب التي تشمل نموذج لغة خارجي (LM) باستخدام تقنية التداخل السطحي (shallow fusion)، مع طرح نموذج لغة داخلي مقدّر. ويُبرر هذا النهج من منظور بايزيان، حيث يُعرّف الاحتمال الأولي لنموذج المحول بواسطة نموذج اللغة الداخلي المقدّر. وعند طرح نموذج اللغة الداخلي، نحصل على تحسّن نسبي يزيد عن 14% مقارنة بالطريقة التقليدية للتداخل السطحي. يمتلك نموذج المحول توزيع احتمال منفصل للعلامات غير الفارغة (non-blank labels)، مما يُسهّل التوليف مع نموذج اللغة الخارجي، ويُبسّط تقدير نموذج اللغة الداخلي. بالإضافة إلى ذلك، نحرص على تضمين احتمال نهاية الجملة (EOS) من نموذج اللغة الخارجي ضمن احتمال الفراغ الأخير (last blank probability)، مما يُحسّن الأداء بشكل إضافي. وجميع الكودات والإعدادات المستخدمة في هذا العمل مُتاحة للجمهور.