التدريب المسبق باستخدام تغطية الكلمة الكاملة لـ BERT الصيني

أظهرت تمثيلات المُشفر الثنائي الاتجاه من نماذج Transformers (BERT) تحسينات مدهشة في مجموعة متنوعة من مهام معالجة اللغة الطبيعية (NLP)، وقد تم اقتراح نسخ متتابعة منها لتحسين أداء النماذج اللغوية المُعدة مسبقًا. في هذا البحث، نهدف أولاً إلى تقديم استراتيجية التغطية الكلية (wwm) لـ BERT الصيني، بالإضافة إلى سلسلة من النماذج اللغوية المُعدة مسبقًا باللغة الصينية. ثم نقترح أيضًا نموذجًا بسيطًا ولكنه فعال يُسمى MacBERT، والذي يحسن RoBERTa بعدة طرق. بشكل خاص، نقترح استراتيجية تغطية جديدة تُعرف بـ MLM كتصحيح (Mac). للتحقق من فعالية هذه النماذج، قمنا بإنشاء سلسلة من النماذج اللغوية المُعدة مسبقًا باللغة الصينية كأساسيات لنا، بما في ذلك BERT و RoBERTa و ELECTRA و RBT وغيرها. أجرينا تجارب واسعة على عشر مهام صينية في مجال معالجة اللغة الطبيعية لتقييم النماذج اللغوية المُعدة مسبقًا باللغة الصينية وكذلك MacBERT المقترح. أظهرت نتائج التجارب أن MacBERT يمكنه تحقيق أفضل الأداء في العديد من مهام معالجة اللغة الطبيعية، كما قمنا بتقديم تفاصيل التحليل الفرعي مع عدة اكتشافات قد تساعد في الأبحاث المستقبلية. لقد جعلنا النماذج اللغوية المُعدة مسبقًا التي طورناها متاحة للمصدر المفتوح لتسهيل العمل في مجتمع البحث لدينا. الموارد متاحة على الرابط: https://github.com/ymcui/Chinese-BERT-wwm