تمثيلات الكيانات مفيدة في المهام اللغوية الطبيعية التي تتضمن كيانات. في هذا البحث، نقترح تمثيلات مُدَرَّبة مسبقًا ومحفزة بالسياق للكلمات والكيانات بناءً على نموذج الترانسفورمر ثنائي الاتجاه. يعامل النموذج المقترح الكلمات والكيانات في نص معين كعناصر منفصلة، ويُخرِج تمثيلات محفزة بالسياق لكل منها. يتم تدريب النموذج باستخدام مهمة تدريب مُقدَّمة جديدة تعتمد على نموذج اللغة المُقنّع (Masked Language Model) الخاص بـ BERT، حيث تتضمن المهمة توقع الكلمات والكيانات التي تم إخفاؤها عشوائيًا في مجموعة بيانات ضخمة مُعلَّمة بكيانات تم استخلاصها من ويكيبيديا. كما نقترح آلية انتباه ذات وعي بالكيانات (Entity-aware Self-Attention) التي تمثل امتدادًا لآلية الانتباه الذاتي في الترانسفورمر، وتُراعي أنواع العناصر (الكلمات أو الكيانات) عند حساب درجات الانتباه. حقق النموذج المقترح أداءً تجريبيًا مُبهرًا في طائفة واسعة من المهام المتعلقة بالكيانات. وبشكل خاص، تفوّق على جميع النتائج السابقة (state-of-the-art) في خمسة مجموعات بيانات معروفة: Open Entity (تصنيف نوع الكيان)، TACRED (تصنيف العلاقة)، CoNLL-2003 (التعرف على الكيانات الاسمية)، ReCoRD (إجابة الأسئلة من نوع "الحذف المكاني")، وSQuAD 1.1 (إجابة استخراجية للأسئلة). يتوفر الكود المصدري والتمثيلات المدربة مسبقًا على الرابط التالي: https://github.com/studio-ousia/luke.