يُعدّ نموذج BERT غير فعّال في مهام أزواج الجملة مثل التجميع أو البحث الدلالي، لأنه يتطلب تقييم عدد مركّب جدًا من أزواج الجمل، وهو ما يستهلك وقتًا كبيرًا جدًا. حاول نموذج Sentence BERT (SBERT) التغلب على هذا التحدي من خلال تعلُّم تمثيلات معنوية ذات معنى للجمل الفردية، بحيث يمكن الوصول بسهولة إلى مقارنات التشابه. ومع ذلك، يتم تدريب SBERT على مجموعات نصية تحتوي على أزواج جمل مُوسومة بجودة عالية، مما يحد من تطبيقه في المهام التي تفتقر بشدة إلى البيانات الموسومة. في هذه الورقة، نقترح توسيعًا خفيف الوزن على نموذج BERT، بالإضافة إلى هدف تعلّم ذاتي جديد يستند إلى استراتيجيات تحسين المعلومات المتبادلة، بهدف استخلاص تمثيلات جمل ذات معنى بطريقة غير مراقبة. على عكس SBERT، لا يُحدّد هذا النهج بتوفر البيانات الموسومة، مما يسمح بتطبيقه على مجموعات نصية متخصصة في مجالات مختلفة. أظهرت النتائج التجريبية أن الطريقة المقترحة تتفوّق بشكل ملحوظ على الطرق الأخرى المبنية على التمثيلات غير المراقبة للجمل في مهام معيارية لتشابه النصوص الدلالي (STS) والمهام التالية المراقبة. كما تفوقت على SBERT في بيئة لا تتوفر فيها بيانات موسومة داخل المجال، وحققت أداءً يتنافس مع الطرق المراقبة في مجموعة متنوعة من المهام.