ماد-إكس: إطار عمل قائمة على المُعدِّل للنقل عبر اللغات متعدد المهام

الهدف الرئيسي وراء النماذج متعددة اللغات المُدرَّبة مسبقًا من الجيل الحديث، مثل BERT متعدد اللغات وXLM-R، هو تمكين وبدء تطبيقات معالجة اللغة الطبيعية (NLP) في اللغات ذات الموارد المحدودة من خلال نقل عابر للغات من الصفر أو من عدد قليل من الأمثلة. ومع ذلك، وبسبب القدرة المحدودة للنموذج، تكون أداءه في النقل الأضعف بالضبط في هذه اللغات ذات الموارد المحدودة، وكذلك في اللغات التي لم تُرى أثناء التدريب المسبق. نقترح إطار MAD-X، وهو إطار مبني على المُعدِّلات (adapters) يُمكّن من نقل عالي القدرة والكفاءة في استخدام المعلمات إلى مهام ولغات متعددة ومتغيرة، وذلك من خلال تعلُّم تمثيلات منفصلة للغات والمهام. بالإضافة إلى ذلك، نقدّم بنية مُعدِّلة قابلة للعكس (invertible adapter architecture) جديدة، وطريقة أساسية قوية لتعديل نموذج متعدد اللغات المُدرَّب مسبقًا ليدعم لغة جديدة. ويتفوّق MAD-X على أحدث النماذج في نقل عابر للغات عبر مجموعة ممثلة من اللغات المتنوعة من حيث البنية النحوية في مهام التعرف على الكيانات الاسمية والتفكير المنطقي السببي، ويحقق نتائج تنافسية في مهام الإجابة على الأسئلة. يمكن الاطلاع على الكود والـ adapters الخاصة بنا عبر موقع AdapterHub.ml