تمثيلات الكلمات السياقية قادرة على تقديم تمثيلات مختلفة لنفس الكلمة في سياقات مختلفة، وقد أُثبتت فعاليتها في المهام اللاحقة المعالجة اللغوية الطبيعية، مثل الإجابة على الأسئلة، وتحديد الكيانات المعرفية، وتحليل المشاعر. ومع ذلك، تُظهر تقييمات تمثيلات الكلمات السياقية في الدراسات السابقة أن استخدامها لا يفوق الأسلوب المُتفوّق الذي يعتمد على تمثيلات كلمات غير سياقية. في هذه الورقة، نستكشف استراتيجيات مختلفة لدمج تمثيلات كلمات سياقية مُدرّبة مسبقًا، ونُحقق أفضل استراتيجية تُحقق دقةً تفوق بكثير أفضل الدقائق المنشورة سابقًا على عدة مجموعات بيانات معيارية لتمييز معنى الكلمة (WSD). ونُقدّم رمز المصدر على الرابط التالي: https://github.com/nusnlp/contextemb-wsd.