أثارت النماذج التي تُمثّل العلاقات بين كيانات متعددة اهتمامًا متزايدًا مؤخرًا، وقد تم جمع مجموعة بيانات جديدة تُسمى DocRED لتسريع الأبحاث المتعلقة باستخراج العلاقات على مستوى المستند. تعتمد النماذج الحالية لهذه المهمة على استخدام BiLSTM لتشفير المستند بأكمله، وتُدرّس من الصفر. ونُشير إلى أن هذه النماذج البسيطة ليست قوية بما يكفي لتمثيل التفاعلات المعقدة بين الكيانات. في هذه الورقة، نُطبّق بشكل إضافي نموذجًا مُدرّبًا مسبقًا (BERT) لتقديم نموذج أساسي أقوى لهذه المهمة. كما لاحظنا أن حل هذه المهمة على مراحل يمكن أن يُحسّن الأداء بشكل أكبر. الخطوة الأولى تتمثل في التنبؤ بوجود علاقة أم لا بين كيانين، والخطوة الثانية هي التنبؤ بالعلاقة المحددة.