لقد حققت نماذج اللغة الضخمة مثل BERT أداءً متميزًا في مجموعة واسعة من مهام معالجة اللغة الطبيعية (NLP). ومع ذلك، تشير الدراسات الحديثة إلى أن هذه النماذج القائمة على BERT تكون عرضة للهجمات العدائية النصية. نهدف إلى معالجة هذه المشكلة من منظور نظري معلوماتي، ونُقدّم InfoBERT، وهي إطار تعلّم جديد لضبط الدقة في النماذج اللغوية المُدرّبة مسبقًا بطريقة مقاومة. يحتوي InfoBERT على منظمين مبنيين على المعلومات التبادلية لتدريب النموذج: (أ) منظم الحد الأقصى للمعلومات (Information Bottleneck)، الذي يقلل من المعلومات التبادلية الضوضائية بين المدخلات وتمثيل الميزات؛ و(ب) منظم الميزات المقاومة، الذي يزيد من المعلومات التبادلية بين الميزات المحلية المقاومة والميزات العالمية. ونقدّم طريقة منهجية لتحليل وتحسين مقاومة تعلّم التمثيل للنماذج اللغوية في التدريب القياسي والتدريب العدائي. وأظهرت التجارب الواسعة أن InfoBERT تحقق أداءً متميزًا من حيث الدقة المقاومة على عدة مجموعات بيانات عدائية في مهام الاستدلال اللغوي الطبيعي (NLI) والإجابة على الأسئلة (QA). يمكن الوصول إلى كودنا من خلال الرابط التالي: https://github.com/AI-secure/InfoBERT.