استخراج العلاقات على مستوى المستند باستخدام خسارة التركيز التكيفية ونقل المعرفة

استخلاص العلاقات على مستوى المستند (DocRE) يُعد مهمة أكثر تحديًا مقارنةً بنسخة مستوى الجملة. ويهدف إلى استخلاص العلاقات من جمل متعددة في وقت واحد. في هذه الورقة، نقترح إطارًا شبه مُعلَّم لاستخلاص العلاقات على مستوى المستند، يحتوي على ثلاث مكونات جديدة. أولاً، نستخدم وحدة انتباه محوري (axial attention module) لتعلم الترابط بين أزواج الكيانات، مما يُحسّن الأداء في العلاقات ذات الخطوتين. ثانيًا، نقترح خسارة مركّزة مُعدّلة (adaptive focal loss) للتعامل مع مشكلة عدم التوازن بين الفئات في DocRE. ثالثًا، نستخدم تقنية تدريب المعرفة (knowledge distillation) للتغلب على الفروق بين البيانات المُعلَّمة يدويًا والبيانات المُعلَّمة عن بعد (distantly supervised data). أجرينا تجارب على مجموعتي بيانات DocRE. وتفوّق نموذجنا باستمرار على النماذج القوية السابقة، وتفوّق أداءه على الحد الأقصى السابق (SOTA) بمقدار 1.36 نقطة في دقة F1 و1.46 نقطة في دقة Ign_F1 على لوحة تقييم DocRED. سيتم إتاحة الكود والبيانات المستخدمة عبر الرابط: https://github.com/tonytan48/KD-DocRE.