أثبتت نماذج اللغة المُدرَّبة مسبقًا قدرتها الفريدة في استخلاص السمات اللغوية الضمنية. ومع ذلك، تتركز معظم مناهج التدريب المسبق على أهداف التدريب على مستوى الكلمة، بينما نُدرَت دراسة الأهداف على مستوى الجملة. في هذا البحث، نقترح نموذج CLEAR (التعلم التبايني لتمثيل الجملة)، الذي يستخدم استراتيجيات متعددة للتعديل على مستوى الجملة لتعلم تمثيلات جملة غير حساسة للضوضاء. تشمل هذه الاستراتيجيات حذف الكلمات والقطع، و إعادة ترتيبها، واستبدالها. علاوةً على ذلك، نستعرض الأسباب الأساسية التي تجعل التعلم التبايني فعّالًا من خلال عدد كبير من التجارب. ولاحظنا أن أنواع مختلفة من تعديلات الجملة أثناء التدريب المسبق تؤدي إلى تحسينات متفاوتة في الأداء على مهام تطبيقية مختلفة. وقد أظهرت نتائجنا أن منهجنا يتفوق على عدة طرق موجودة مسبقًا على معايير SentEval وGLUE.