
تلعب التضمينات النصية عالية الجودة دورًا محوريًا في تحسين مهام التشابه النصي الدلالي (STS)، التي تمثل عناصر أساسية في تطبيقات النماذج اللغوية الكبيرة (LLM). ومع ذلك، يواجه النماذج الحالية للتضمين النصي تحديًا شائعًا يتمثل في مشكلة انعدام التدرجات (vanishing gradients)، والتي تعود أساسًا إلى اعتمادها على دالة جيب التمام في دالة التحسين، والتي تمتلك مناطق تشبع. ولحل هذه المشكلة، تُقدّم هذه الورقة نموذجًا جديدًا للتضمين النصي يُسمى AnglE، يعتمد على تحسين الزاوية في فضاء معقد. ويتمثل الفكرة الأساسية لـ AnglE في إدخال تحسين الزاوية ضمن فضاء معقد، مما يُعدّ منهجية مبتكرة تُخفّف بشكل فعّال من الآثار السلبية الناتجة عن مناطق التشبع في دالة جيب التمام، والتي قد تعيق التدرجات وتُعيق عمليات التحسين. ولإطلاق تقييم شامل لمهام STS، أجرينا تجارب على مجموعات بيانات موجودة لمهام STS النصية القصيرة، بالإضافة إلى مجموعة بيانات جديدة لمهام STS النصية الطويلة تم جمعها من مشاكل GitHub. كما قمنا بدراسة سيناريوهات STS الخاصة بمجالات محددة ذات بيانات مُعلّمة محدودة، واستكشفنا كيفية أداء AnglE مع البيانات المُعلّمة بواسطة النماذج اللغوية الكبيرة. أُجريت تجارب واسعة النطاق على مهام مختلفة، تشمل STS النصية القصيرة، وSTS النصية الطويلة، ومهام STS الخاصة بمجالات محددة. وأظهرت النتائج أن AnglE يتفوّق على النماذج الرائدة (SOTA) في مهام STS التي تتجاهل مناطق التشبع في دالة جيب التمام. وتُظهر هذه النتائج قدرة AnglE على إنتاج تضمينات نصية عالية الجودة، وتبين فائدة تحسين الزاوية في مهام STS.