HyperAIHyperAI
منذ 17 أيام

تحسين الربط الكائني بتمثيل معلومات النوع الكائني الضمنية

Shuang Chen, Jinpeng Wang, Feng Jiang, Chin-Yew Lin
تحسين الربط الكائني بتمثيل معلومات النوع الكائني الضمنية
الملخص

تحتاج النماذج الحالية الرائدة في ربط الكيانات العصبية إلى استخدام نموذج سياقي يعتمد على انتباه "حقيبة الكلمات" (attention-based bag-of-words) وتمثيلات الكيانات المُدرَّبة مسبقًا المستمدة من تمثيلات الكلمات لتقييم توافق السياق على مستوى الموضوع. ومع ذلك، يتم تجاهل المعلومات الكامنة عن نوع الكيان في السياق الفوري للإشارة، مما يؤدي إلى ربط الإشارات بشكل خاطئ بكيانات ذات نوع خاطئ في كثير من الأحيان. ولحل هذه المشكلة، نقترح دمج معلومات نوع الكيان الكامنة في تمثيلات الكيانات باستخدام نموذج BERT المُدرَّب مسبقًا. بالإضافة إلى ذلك، ندمج مقياسًا لتشابه الكيانات مبنيًا على BERT ضمن نموذج السياق المحلي لنموذج رائد، بهدف تحسين التقاط المعلومات الكامنة عن نوع الكيان. أظهر نموذجنا تفوقًا كبيرًا على النماذج الرائدة في ربط الكيانات على المعايير القياسية (AIDA-CoNLL). وتكشف التحليلات التجريبية التفصيلية أن نموذجنا يصحح معظم الأخطاء الناتجة عن النموذج الأساسي المباشر.