HyperAIHyperAI

Command Palette

Search for a command to run...

ماد-إكس: إطار عمل قائمة على المُعدِّل للنقل عبر اللغات متعدد المهام

Jonas Pfeiffer Ivan Vulić Iryna Gurevych Sebastian Ruder

الملخص

الهدف الرئيسي وراء النماذج متعددة اللغات المُدرَّبة مسبقًا من الجيل الحديث، مثل BERT متعدد اللغات وXLM-R، هو تمكين وبدء تطبيقات معالجة اللغة الطبيعية (NLP) في اللغات ذات الموارد المحدودة من خلال نقل عابر للغات من الصفر أو من عدد قليل من الأمثلة. ومع ذلك، وبسبب القدرة المحدودة للنموذج، تكون أداءه في النقل الأضعف بالضبط في هذه اللغات ذات الموارد المحدودة، وكذلك في اللغات التي لم تُرى أثناء التدريب المسبق. نقترح إطار MAD-X، وهو إطار مبني على المُعدِّلات (adapters) يُمكّن من نقل عالي القدرة والكفاءة في استخدام المعلمات إلى مهام ولغات متعددة ومتغيرة، وذلك من خلال تعلُّم تمثيلات منفصلة للغات والمهام. بالإضافة إلى ذلك، نقدّم بنية مُعدِّلة قابلة للعكس (invertible adapter architecture) جديدة، وطريقة أساسية قوية لتعديل نموذج متعدد اللغات المُدرَّب مسبقًا ليدعم لغة جديدة. ويتفوّق MAD-X على أحدث النماذج في نقل عابر للغات عبر مجموعة ممثلة من اللغات المتنوعة من حيث البنية النحوية في مهام التعرف على الكيانات الاسمية والتفكير المنطقي السببي، ويحقق نتائج تنافسية في مهام الإجابة على الأسئلة. يمكن الاطلاع على الكود والـ adapters الخاصة بنا عبر موقع AdapterHub.ml


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
ماد-إكس: إطار عمل قائمة على المُعدِّل للنقل عبر اللغات متعدد المهام | مستندات | HyperAI