سريع وفعال ومُشرف ذاتيًا: تحويل نماذج اللغة المقنعة إلى مُشفرين عامين للكلمات والجمل

النماذج اللغوية المقنّعة المدربة مسبقًا (MLMs) قد ثورة مجال معالجة اللغة الطبيعية (NLP) في السنوات الأخيرة. ومع ذلك، أشارت الدراسات السابقة إلى أن النماذج المدربة مسبقًا جاهزة الاستخدام ليست فعالة كمُشفِّرات لексية أو جملية عامة دون تحسين إضافي محدد للمهمة باستخدام بيانات مهمة مشمولة بالشروح. في هذا البحث، نثبت أنه من الممكن تحويل النماذج اللغوية المقنّعة (MLMs) إلى مُشفِّرات لексية وجملية عامة فعالة حتى بدون أي بيانات إضافية وبلا أي إشراف. نقترح تقنية تعلم تباينية بسيطة وسريعة وفعالة للغاية، والتي نطلق عليها اسم Mirror-BERT، حيث تقوم هذه التقنية بتحويل النماذج اللغوية المقنّعة (مثل BERT و RoBERTa) إلى مثل هذه المُشفِّرات في غضون 20-30 ثانية دون الحاجة إلى أي معرفة خارجية إضافية. تعتمد Mirror-BERT على أزواج سلاسل متطابقة تمامًا أو معدلة قليلاً كأمثلة تحسين إيجابية (أي متوازنة المعنى)، وتهدف إلى زيادة تشابهها أثناء التحسين الهووي. نبلغ عن ارتفاع كبير في الأداء باستخدام Mirror-BERT مقارنة بالنماذج اللغوية المقنّعة الجاهزة الاستخدام في مهمات المستوى اللفظي والمهمات الجملية، عبر مختلف المجالات ولغات مختلفة. بشكل خاص، في مهمات التشابه الدلالي للجمل القياسية (STS)، يطابق نموذجنا الذاتي الإشرافي Mirror-BERT أداء النماذج Sentence-BERT التي تم ضبطها للمهمة من الأبحاث السابقة. وأخيرًا، نقوم بدراستنا العميقة لميكانيكيات عمل النماذج اللغوية المقنّعة، ونقدم بعض الأدلة حول سبب قدرة هذا النهج البسيط على تحقيق مُشفِّرات لексية وجملية عامة فعالة.