نطبق نموذج BERT على حل المشكلات المرتبطة بالمرجعية المتبادلة (coreference resolution)، مما يحقق تحسينات قوية في مقاييس OntoNotes (+3.9 F1) وGAP (+11.5 F1). تشير التحليلات النوعية للتنبؤات النموذجية إلى أن BERT-large، مقارنةً بنماذج ELMo وBERT-base، يتميز بشكل خاص بقدرته على التمييز بين الكيانات ذات الصلة ولكن المنفصلة (مثل الرئيس التنفيذي والرئيس). ومع ذلك، لا يزال هناك مجال للتحسين في نمذجة السياق المستند على مستوى الوثيقة، والحوار، وإعادة صياغة الإشارات. الرمز البرمجي والنماذج الخاصة بنا متاحة للعامة.