عند إجراء كشف الاتجاه (Polarity Detection) للكلمات المختلفة في جملة، نحتاج إلى النظر إلى الكلمات المحيطة لفهم المشاعر المرتبطة بها. يمكن للنماذج اللغوية المُدرَّبة مسبقًا على نطاق واسع مثل BERT تشفير ليس فقط الكلمات في المستند، بل أيضًا السياق المحيط بكل كلمة. هذا يطرح سؤالين: "هل تقوم النموذج المُدرَّب مسبقًا بتشفير معلومات الاتجاه (Sentiment) لكل كلمة تلقائيًا؟" و"هل يمكن استخدامه لاستنتاج الاتجاه نحو جوانب مختلفة؟" في هذه الدراسة، نحاول الإجابة على هذا السؤال من خلال إظهار أن تدريب نموذج مقارنة بين تمثيل سياقي مستمد من BERT وتمثيل كلمات عام (Generic Word Embedding) يمكن أن يُستخدم لاستنتاج المشاعر. كما نُظهر أنه إذا قمنا بتعديل جزء من الأوزان في النموذج المبني على هذه المقارنة، فيمكن للنموذج تحقيق نتائج متقدمة جدًا (State-of-the-Art) في كشف الاتجاه ضمن مجموعات بيانات تصنيف المشاعر القائمة على الجوانب (Aspect-Based Sentiment Classification).