روبيتشيكي: روبيروباتا التشيكية، نموذج تمثيل لغوي سياقي أحادي اللغة

نقدم نموذج RobeCzech، وهو نموذج تمثيل لغوي على أساس RoBERTa مُدرَّب على بيانات باللغة التشيكية. ويُعدّ RoBERTa نهجًا مُعدّلًا بقوة لتدريب مسبق يعتمد على نموذج Transformer. ونُظهر أن RobeCzech يتفوق بشكل ملحوظ على النماذج المُدرَّبة على لغات متعددة ذات حجم مماثل، وكذلك على النماذج المُدرَّبة خصيصًا على اللغة التشيكية، ويتفوق على أفضل النماذج الحالية في جميع مهام معالجة اللغة الطبيعية الخمسة التي تم تقييمها، ويحقق نتائج متقدمة في أربع منها. تم الإفصاح العام عن نموذج RobeCzech عبر الرابطين التاليين: https://hdl.handle.net/11234/1-3691 وhttps://huggingface.co/ufal/robeczech-base.