قد مكّنت القدرة على التعلم من مجموعات بيانات كبيرة غير مشمولة بالتصنيف النماذج اللغوية العصبية من تطوير الحدود في فهم اللغة الطبيعية. ومع ذلك، فإن التقنيات الذاتية الرقابية الحالية تعمل على مستوى شكل الكلمة، والتي تعتبر بديلاً عن المحتوى الدلالي الأساسي. تقترح هذه الورقة طريقة لاستخدام الرقابة الضعيفة مباشرة على مستوى معنى الكلمة. نموذجنا، الذي أطلق عليه اسم SenseBERT (سينس بيرت)، تم تدريبه مسبقًا للتنبؤ ليس فقط بالكلمات المخفية ولكن أيضًا بمعانيها الفائقة في WordNet (وردنت). وبناءً على ذلك، نحصل على نموذج لغوي على المستوى الألفاظي-الدلالي، دون الحاجة إلى استخدام التسميات البشرية. يحقق SenseBERT فهمًا ألفاظيًا محسّنًا بشكل كبير، كما نثبت ذلك من خلال إجراء تجارب على توضيح معنى الكلمة في SemEval (سيم إيفال)، وبالحصول على أفضل نتيجة حتى الآن في مهمة كلمة في السياق.