استخراج متمايز مشترك للكيانات والعلاقات القائمة على الفضاء مع التدريب المسبق لمحولات

نقدم نموذج SpERT، وهو نموذج انتباه مبني على الفترات (span-based) لاستخراج الكيانات والعلاقات معًا. يكمن إسهامنا الرئيسي في استنتاج خفيف الوزن على تضمينات BERT، والذي يشمل التعرف على الكيانات وتصفية النتائج، فضلًا عن تصنيف العلاقات باستخدام تمثيل سياقي محلي ودون استخدام علامات مميزة. يتم تدريب النموذج باستخدام عينات سلبية قوية ضمن الجملة، والتي تُستخرج بكفاءة في عملية واحدة عبر نموذج BERT. تُسهّل هذه العناصر البحث عبر جميع الفترات في الجملة.في دراسات التحليل التجريبي (ablation studies)، نُظهر فوائد التدريب المسبق، والعينات السلبية القوية، والتمثيل السياقي المحدود. ويتفوّق نموذجنا على الأبحاث السابقة بنسبة تصل إلى 2.6% في مؤشر F1 على عدة مجموعات بيانات لاستخراج الكيانات والعلاقات معًا.