تمثيل النص بواسطة التدريب التبايني الضعيف الإشراف

يقدم هذا البحث نموذج E5، وهو عائلة من أفضل نماذج تضمين النصوص (text embeddings) التي تنقل بشكل جيد إلى مجموعة واسعة من المهام. يتم تدريب النموذج بطريقة مقارنة باستخدام إشارات إشراف ضعيفة من قاعدة بياناتنا الكبيرة والمُعدة بعناية للزوجات النصية (CCPairs). يمكن استخدام E5 بسهولة كنموذج تضمين عام لأي مهام تتطلب تمثيلًا متجهيًا واحدًا للنصوص مثل الاسترجاع، والتصنيف، والتجميع، مما يحقق أداءً قويًا في كل من الإعدادات بدون تعليم مسبق (zero-shot) وفي الإعدادات المعتمدة على التعلم الدقيق (fine-tuned). قمنا بإجراء تقييمات واسعة على 56 مجموعة بيانات من مقاييس BEIR وMTEB. بالنسبة للإعدادات بدون تعليم مسبق، يعد E5 أول نموذج يتفوق على أساس BM25 القوي في مقاييس الاسترجاع BEIR دون استخدام أي بيانات مصنفة. عند التعلم الدقيق، يحصل E5 على أفضل النتائج في مقاييس MTEB، حيث يتفوق على النماذج المتضمنة الحالية التي تحتوي على 40 مرة أكثر من المعلمات.