BERTje: نموذج BERT الهولندي

نموذج اللغة المُدرّب مسبقًا القائم على الترانسформر، BERT، ساهم في تحسين الأداء القياسي في العديد من مهام معالجة اللغة الطبيعية (NLP). باستخدام نفس البنية والمعاملات، طوّرنا وقيّمنا نموذجًا ثنائي اللغة للغة الهولندية يُدعى BERTje. مقارنةً بالنموذج متعدد اللغات BERT، الذي يحتوي على اللغة الهولندية لكنه يعتمد فقط على نصوص ويكيبيديا، يعتمد BERTje على مجموعة بيانات كبيرة ومتنوعة تضم 2.4 مليار من الرموز (tokens). وقد أظهر BERTje أداءً أفضل بشكل منتظم مقارنةً بالنموذج متعدد اللغات ذي الحجم نفسه في مهام معالجة اللغة الطبيعية التالية (تحديد الصفة، التعرف على الكيانات المُعرفة، تسمية الأدوار المعنى، وتحليل المشاعر). يُتاح نموذج BERT المُدرّب مسبقًا للغة الهولندية عبر الرابط: https://github.com/wietsedv/bertje.