تَدْرِيبُ النماذج اللغوية العابرة لللغات

أظهرت الدراسات الحديثة كفاءة التدريب التوليدي المسبق لفهم اللغة الطبيعية الإنجليزية. في هذا البحث، نوسع هذه النهج إلى عدة لغات ونوضح فعالية التدريب المسبق عبر اللغات. نقترح طريقتين لتعلم نماذج اللغة عبر اللغات (XLMs): طريقة غير مراقبة تعتمد فقط على البيانات الأحادية اللغة، وطريقة مراقبة تستفيد من البيانات المتوازية مع هدف جديد لنموذج اللغة عبر اللغات. حصلنا على أفضل النتائج الحالية في تصنيف اللغات عبر اللغات والترجمة الآلية غير المراقبة والمراقبة. على مجموعة بيانات XNLI، تقدم نهجتنا الحالة الفنية بزيادة مطلقة قدرها 4.9% في الدقة. في الترجمة الآلية غير المراقبة، حصلنا على 34.3 BLEU في WMT'16 الألماني-الإنجليزي، مما يحسن الحالة الفنية السابقة بأكثر من 9 BLEU. بالنسبة للترجمة الآلية المراقبة، حققنا مستوى جديدًا من الحالة الفنية بلغ 38.5 BLEU في WMT'16 الروماني-الإنجليزي، مما يتفوق على أفضل نهج سابق بأكثر من 4 BLEU. سيتم جعل شفرتنا المصدرية والنماذج المدربة مسبقًا متاحة للجمهور بشكل عام.