Trankit: أداة خفيفة قائمة على نموذج ترانسفورمر لمعالجة اللغات الطبيعية متعددة اللغات

نقدم لكم "ترانكيت" (Trankit)، وهو أداة خفيفة تعتمد على نموذج الترانسفورمر (Transformer) لمعالجة اللغات الطبيعية متعددة اللغات (NLP). يوفر هذا الأداة خط أنابيب قابل للتدريب لأداء المهام الأساسية في معالجة اللغات الطبيعية بأكثر من 100 لغة، بالإضافة إلى 90 خط أنابيب مُدرب مسبقًا لـ 56 لغة. بفضل استخدامه لنماذج اللغة المُدربة مسبقًا ذات المستوى الرائد، يتفوق "ترانكيت" بشكل كبير على أدوات معالجة اللغات الطبيعية متعددة اللغات السابقة في مجال تقسيم الجمل، وتصنيف أجزاء الكلام، وتحديد السمات الصوتية، وتوضيح العلاقات الصرفية، بينما يحافظ على أداء تنافسي في مجال التجزئة، وتوسيع العبارات المتعددة الكلمات، وإعادة الكلمات إلى صورها الأصلية (lemmatization) عبر 90 شجرة اعتماد عالمية (Universal Dependencies treebanks).رغم استخدامه لنموذج ترانسفورمر كبير تم تدريبه مسبقًا، لا يزال الأداة فعالًا من حيث استهلاك الذاكرة والسرعة. يتم تحقيق ذلك من خلال آلية جديدة قابلة للتركيب والاستبدال باستخدام المكيفات (Adapters)، حيث يتم مشاركة نموذج الترانسفورمر متعدد اللغات بين خطوط الأنابيب المختلفة للغات المتنوعة. يمكن الوصول إلى الأداة الخاصة بنا والنماذج المُدربة مسبقًا والكود البرمجي بشكل عام عبر الرابط: https://github.com/nlp-uoregon/trankit. كما يمكنكم زيارة الموقع التجريبي للأداة عبر الرابط: http://nlp.uoregon.edu/trankit. وأخيرًا، قدمنا فيديو توضيحيًا لأداة "ترانكيت" يمكن مشاهدته عبر الرابط: https://youtu.be/q0KGP3zGjGc.