منذ 11 أيام
XLM-E: التدريب المسبق للنموذج اللغوي عبر اللغات باستخدام ELECTRA
Zewen Chi, Shaohan Huang, Li Dong, Shuming Ma, Bo Zheng, Saksham Singhal, Payal Bajaj, Xia Song, Xian-Ling Mao, Heyan Huang, Furu Wei
الملخص
في هذه الورقة، نُقدّم مهامًا على نمط ELECTRA لتدريب النماذج اللغوية عبر اللغات. بشكل خاص، نعرض مهمتين للتدريب المسبق، وهما: كشف الحرف المُستبدَل متعدد اللغات، وكشف الحرف المُستبدَل في الترجمة. علاوة على ذلك، نُدرّب النموذج، الذي أُطلق عليه اسم XLM-E، على كلا النوعين من المجموعات اللغوية: المجموعات متعددة اللغات والمجموعات المتوازية. ويُظهر نموذجنا تفوقًا على النماذج الأساسية في مهام فهم اللغة عبر اللغات المختلفة، مع تكلفة حوسبة أقل بكثير. علاوة على ذلك، تُشير التحليلات إلى أن XLM-E يميل إلى تحقيق قدرة أفضل على التحويل عبر اللغات.