النماذج المدربة مسبقًا الكبيرة ذات المفردات الفائقة الكبر: تحليل مقارن لنماذج بيرت العبرية ونموذج جديد لتفوقها جميعًا

نقدم نموذجًا مُدربًا مسبقًا للغة العبرية الحديثة، يُسمى AlephBERTGimmel، يستخدم مفردات أكبر بكثير (128 ألف عنصر) من النماذج المُدربة مسبقًا القياسية للعبرية. نقوم بتحليل تضادي لهذا النموذج مقابل جميع النماذج المُدربة مسبقًا السابقة للعبرية (mBERT، heBERT، AlephBERT) ونقيم آثار المفردات الأكبر على أداء المهام. تظهر تجاربنا أن المفردات الأكبر تؤدي إلى تقسيمات أقل، وأن تقليل التقسيمات يكون أفضل لأداء النموذج في مختلف المهام. بشكل عام، يحقق هذا النموذج الجديد أفضل مستوى حتى الآن (SOTA) على جميع مقاييس العبرية المتاحة، بما في ذلك التقطيع الصوري (Morphological Segmentation)، تصنيف الأجزاء (POS Tagging)، التحليل الصوري الكامل (Full Morphological Analysis)، تحديد الكيانات المسماة (NER)، وتحليل المشاعر (Sentiment Analysis). بعد ذلك، ندعو إلى استخدام نماذج مُدربة مسبقًا أكبر ليس فقط من حيث عدد الطبقات أو بيانات التدريب، ولكن أيضًا من حيث مفرداتها. نقوم بإصدار النموذج الجديد بشكل علني للاستخدام غير المقيد.