التقييم التجريبي لاستراتيجيات التدريب المسبق لربط الكيانات الخاضع للإشراف

في هذه الدراسة، نقدم نموذجًا لربط الكيانات يدمج بنية Transformer مع التدريب المسبق على نطاق واسع باستخدام الروابط من ويكيبيديا. يحقق نموذجنا الأداء الأفضل في مجاله على مجموعتي بيانات شائعتين لربط الكيانات: 96.7% على CoNLL و94.9% على TAC-KBP. ونقدم تحليلات مفصلة لفهم الخيارات التصميمية المهمة لربط الكيانات، بما في ذلك اختيار المرشحات السلبية للكيانات، وبنية Transformer، والتقلبات المدخلة. وأخيرًا، نُقدّم نتائج واعدة في بيئات أكثر تحديًا، مثل ربط الكيانات من البداية إلى النهاية (end-to-end entity linking) وربط الكيانات دون الحاجة إلى بيانات تدريب داخل المجال (in-domain training data).