يتم تقييم التضمينات النصية عادةً على مجموعة صغيرة من المجموعات البيانات من مهمة واحدة فقط، دون تغطية التطبيقات الممكنة لهذه التضمينات على مهام أخرى. ولا يُعرف بالضبط ما إذا كانت التضمينات الرائدة في مجال التشابه النصي الدلالي (STS) يمكن تطبيقها بنفس الكفاءة على مهام أخرى مثل التجميع أو إعادة الترتيب. ويؤدي هذا إلى صعوبة تتبع التقدم في المجال، نظرًا لتقديم نماذج مختلفة باستمرار دون تقييم مناسب. لحل هذه المشكلة، نقدم معيار التقييم الكبير للتضمينات النصية (MTEB). يغطي MTEB 8 مهام لتضمين النصوص، ممثلة بمجموعات بيانات تصل إلى 58 مجموعة و112 لغة. من خلال تقييم 33 نموذجًا على MTEB، نُسَجِّل أكمل معيار لتقييم التضمينات النصية حتى الآن. ونجد أن لا توجد طريقة محددة لتضمين النصوص تتفوق على جميع المهام. ويُشير هذا إلى أن المجال لم يتحقق بعد من طريقة تضمين نصوص عالمية، ولا يزال يفتقر إلى التوسع الكافي لتوفير نتائج رائدة في جميع مهام التضمين. يأتي MTEB مع كود مفتوح المصدر وقائمة تصنيف عامة متاحة على الرابط: https://github.com/embeddings-benchmark/mteb.