HyperAIHyperAI

Command Palette

Search for a command to run...

سريع وفعال ومُشرف ذاتيًا: تحويل نماذج اللغة المقنعة إلى مُشفرين عامين للكلمات والجمل

Fangyu Liu Ivan Vulić Anna Korhonen Nigel Collier

الملخص

النماذج اللغوية المقنّعة المدربة مسبقًا (MLMs) قد ثورة مجال معالجة اللغة الطبيعية (NLP) في السنوات الأخيرة. ومع ذلك، أشارت الدراسات السابقة إلى أن النماذج المدربة مسبقًا جاهزة الاستخدام ليست فعالة كمُشفِّرات لексية أو جملية عامة دون تحسين إضافي محدد للمهمة باستخدام بيانات مهمة مشمولة بالشروح. في هذا البحث، نثبت أنه من الممكن تحويل النماذج اللغوية المقنّعة (MLMs) إلى مُشفِّرات لексية وجملية عامة فعالة حتى بدون أي بيانات إضافية وبلا أي إشراف. نقترح تقنية تعلم تباينية بسيطة وسريعة وفعالة للغاية، والتي نطلق عليها اسم Mirror-BERT، حيث تقوم هذه التقنية بتحويل النماذج اللغوية المقنّعة (مثل BERT و RoBERTa) إلى مثل هذه المُشفِّرات في غضون 20-30 ثانية دون الحاجة إلى أي معرفة خارجية إضافية. تعتمد Mirror-BERT على أزواج سلاسل متطابقة تمامًا أو معدلة قليلاً كأمثلة تحسين إيجابية (أي متوازنة المعنى)، وتهدف إلى زيادة تشابهها أثناء التحسين الهووي. نبلغ عن ارتفاع كبير في الأداء باستخدام Mirror-BERT مقارنة بالنماذج اللغوية المقنّعة الجاهزة الاستخدام في مهمات المستوى اللفظي والمهمات الجملية، عبر مختلف المجالات ولغات مختلفة. بشكل خاص، في مهمات التشابه الدلالي للجمل القياسية (STS)، يطابق نموذجنا الذاتي الإشرافي Mirror-BERT أداء النماذج Sentence-BERT التي تم ضبطها للمهمة من الأبحاث السابقة. وأخيرًا، نقوم بدراستنا العميقة لميكانيكيات عمل النماذج اللغوية المقنّعة، ونقدم بعض الأدلة حول سبب قدرة هذا النهج البسيط على تحقيق مُشفِّرات لексية وجملية عامة فعالة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
سريع وفعال ومُشرف ذاتيًا: تحويل نماذج اللغة المقنعة إلى مُشفرين عامين للكلمات والجمل | مستندات | HyperAI