إطار عمل لتفكيك معنوي متعدد المهام مع تدريب مسبق مخصص للمهام لاستخراج الأسماء المحددة في حالات قليلة من الأمثلة

الهدف من التعرف على الكيانات المميزة القائمة على عدد قليل من الأمثلة هو تحديد الكيانات المميزة باستخدام عدد محدود من الأمثلة المُعلَّمة. ركزت الدراسات السابقة بشكل رئيسي على تحسين الإطار التقليدي لتصنيف الرموز (token-wise classification)، بينما تجاهلت استكشاف المعلومات المستمدة من خصائص بيانات التعرف على الكيانات المميزة. لمعالجة هذه المشكلة، نقترح إطار عمل مُتعدد المهام لتفكيك المعنى من خلال التدريب المسبق المشترك المخصص للمهام (MSDP) للتعامل مع التعرف على الكيانات المميزة القائمة على عدد قليل من الأمثلة. مستوحى من التعلم القائم على الأمثلة (demonstration-based) والتعلم المُقارن (contrastive learning)، نُقدّم مهامَ تدريب مسبق جديدة: نموذج اللغة المُقنّع القائم على الأمثلة (Demonstration-based Masked Language Modeling - MLM) والتمييز المُقارن للتصنيف (Class Contrastive Discrimination). تُسهم هذه المهام في دمج معلومات حدود الكيانات وتعزيز تمثيل الكيانات داخل نماذج اللغة المُدرَّبة مسبقًا (PLMs). وفي المهمة الأساسية في المرحلة التالية، نُقدّم إطارًا مُتكاملًا لتحسين متعدد المهام باستخدام طريقة تفكيك المعنى، مما يُمكّن النموذج من دمج نوعين مختلفين من المعلومات المعنى لتصنيف الكيانات. أظهرت نتائج التجارب على بنيتين معياريتين للتعرف على الكيانات المميزة القائمة على عدد قليل من الأمثلة أن MSDP يتفوّق باستمرار على النماذج القوية السابقة بفارق كبير. كما أثبتت التحليلات الواسعة فعالية وقابلية التعميم لـ MSDP.