HyperAIHyperAI

Command Palette

Search for a command to run...

مُدمجات النص المُحسَّنة لـ AnglE

Xianming Li Jing Li

الملخص

تلعب التضمينات النصية عالية الجودة دورًا محوريًا في تحسين مهام التشابه النصي الدلالي (STS)، التي تمثل عناصر أساسية في تطبيقات النماذج اللغوية الكبيرة (LLM). ومع ذلك، يواجه النماذج الحالية للتضمين النصي تحديًا شائعًا يتمثل في مشكلة انعدام التدرجات (vanishing gradients)، والتي تعود أساسًا إلى اعتمادها على دالة جيب التمام في دالة التحسين، والتي تمتلك مناطق تشبع. ولحل هذه المشكلة، تُقدّم هذه الورقة نموذجًا جديدًا للتضمين النصي يُسمى AnglE، يعتمد على تحسين الزاوية في فضاء معقد. ويتمثل الفكرة الأساسية لـ AnglE في إدخال تحسين الزاوية ضمن فضاء معقد، مما يُعدّ منهجية مبتكرة تُخفّف بشكل فعّال من الآثار السلبية الناتجة عن مناطق التشبع في دالة جيب التمام، والتي قد تعيق التدرجات وتُعيق عمليات التحسين. ولإطلاق تقييم شامل لمهام STS، أجرينا تجارب على مجموعات بيانات موجودة لمهام STS النصية القصيرة، بالإضافة إلى مجموعة بيانات جديدة لمهام STS النصية الطويلة تم جمعها من مشاكل GitHub. كما قمنا بدراسة سيناريوهات STS الخاصة بمجالات محددة ذات بيانات مُعلّمة محدودة، واستكشفنا كيفية أداء AnglE مع البيانات المُعلّمة بواسطة النماذج اللغوية الكبيرة. أُجريت تجارب واسعة النطاق على مهام مختلفة، تشمل STS النصية القصيرة، وSTS النصية الطويلة، ومهام STS الخاصة بمجالات محددة. وأظهرت النتائج أن AnglE يتفوّق على النماذج الرائدة (SOTA) في مهام STS التي تتجاهل مناطق التشبع في دالة جيب التمام. وتُظهر هذه النتائج قدرة AnglE على إنتاج تضمينات نصية عالية الجودة، وتبين فائدة تحسين الزاوية في مهام STS.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp