ما الذي يتطلبه من نموذج لغة طبيعية لفهم رواية، مثل "سيد الخواتم"؟ من بين أمور أخرى، يجب أن يتمكن هذا النموذج من: (أ) تحديد الكيانات (الأفراد) الجديدة وتسجيل خصائصها عند مُقدّمها في النص، و(ب) التعرف على الإشارات اللاحقة إلى هذه الكيانات التي تم تقديمها سابقًا وتحديث خصائصها. يُعدّ هذا التحدي المتعلق بتعقب الكيانات ضروريًا لفهم اللغة، وبالتالي يكون مفيدًا لسلسلة واسعة من التطبيقات اللاحقة في معالجة اللغة الطبيعية، مثل الإجابة على الأسئلة وتلخيص النصوص.في هذه الأطروحة، نركّز على مشكلتين رئيسيتين فيما يتعلق بتسهيل استخدام نماذج تعقب الكيانات: (أ) توسيع نطاق نماذج تعقب الكيانات لمعالجة الوثائق الطويلة، مثل الروايات، و(ب) دمج تعقب الكيانات في النماذج اللغوية. وقد اكتسبت تطبيقات تقنيات اللغة على الوثائق الطويلة اهتمامًا متزايدًا مؤخرًا، لكن القيود الحاسوبية تظل عقبة كبيرة تعيق التوسع في الأساليب الحالية. في هذه الأطروحة، نُقدّم حجّة تُفيد بأن نماذج فعّالة من حيث الحوسبة لتعقب الكيانات يمكن تطويرها من خلال تمثيل الكيانات باستخدام تمثيلات متجهية غنية وأبعاد ثابتة مستمدة من النماذج اللغوية المُدرّبة مسبقًا، وباستغلال الطبيعة المؤقتة (العابرة) للكيانات. كما نُقدّم حجّة لدمج تعقب الكيانات في النماذج اللغوية، لأنه سيسمح بـ: (أ) تطبيق أوسع نظرًا للاستخدام الواسع النطاق للنماذج اللغوية المُدرّبة مسبقًا في تطبيقات معالجة اللغة الطبيعية، و(ب) سهولة التبني، لأن من الأسهل بكثير استبدال نموذج لغوي مُدرّب مسبقًا بآخر جديد، مقارنةً بدمج نموذج منفصل مخصص لتعقب الكيانات.