بيتو، بينتز، بيكياس: الفعالية المفاجئة لـ BERT عبر اللغات

النماذج التمثيلية السياقية المدربة مسبقًا (بيترز وآخرون، 2018؛ ديفلين وآخرون، 2018) قد أحدثت تقدمًا كبيرًا في العديد من مهام معالجة اللغة الطبيعية. يشمل الإصدار الجديد من BERT (ديفلين، 2018) نموذجًا مدربًا مسبقًا بشكل متزامن على 104 لغات، مما حقق أداءً ملحوظًا في نقل اللغات دون تدريب مباشر على مهمة الاستدلال اللغوي الطبيعي. يهدف هذا البحث إلى استكشاف القدرات العابرة للغات الأوسع لـ mBERT (متعدد اللغات) كنموذج نقل لغوي دون تدريب مباشر في خمس مهام لمعالجة اللغة الطبيعية تغطي إجمالي 39 لغة من عائلات لغوية مختلفة: الاستدلال اللغوي الطبيعي (NLI)، تصنيف الوثائق، تحديد الكيانات المسماة (NER)، وضع العلامات الأجرامية (POS tagging)، وتحليل الاعتماد (dependency parsing). نقارن بين mBERT والأساليب المنشورة الأفضل في النقل العابر للغات دون تدريب مباشر، ونجدها تنافسية في كل مهمة. بالإضافة إلى ذلك، ندرس الاستراتيجية الأكثر فعالية لاستخدام mBERT بهذه الطريقة، نحدد مدى قدرة mBERT على التعميم بعيدًا عن الخصائص الخاصة باللغة، ونقاس العوامل التي تؤثر على النقل العابر للغات.