كالبيرت - تمثيلات لغوية متكيفة مختلطة باللغة باستخدام بيرت

اللغة المختلطة هي نوع من اللغات التي تتضمن دمجًا لاثنتين أو أكثر من أشكال اللغة في كتابتها أو نطقها. يُعد تحليل النصوص المختلطة أمرًا صعبًا بسبب عدم اتساق اللغة المستخدمة، مما يجعلها غير متوافقة مع النماذج المفردة اللغة الحالية. نقترح منهجية جديدة لتحسين أداء نماذج Transformers من خلال إدخال خطوة إضافية تُسمى "التدريب المسبق السيامي"، والتي تسمح للنماذج المُدرَّبة مسبقًا على لغات مفردة بالتكيف مع تمثيلات اللغة في اللغات المختلطة باستخدام عدد قليل جدًا من الأمثلة المختلطة. وتفوقت المعمارية المقترحة على أحدث النتائج في مقياس F1 على مجموعة بيانات تحليل المشاعر للغات الهندية (SAIL)، مع تحقيق أعلى تحسن ممكن بلغ 5.1 نقطة، وفي الوقت نفسه حققت أفضل أداء ممكن في دقة مجموعة بيانات مراجعات المنتجات IndicGLUE، متفوقة على المعيار الأساسي بنقطة 0.4.