التمييز النصي والاستنتاج الفعّال لاستخراج العلاقات في سيناريوهات الاستخلاص الصفري والقليل من الأمثلة

تتطلب أنظمة استخلاص العلاقات كميات كبيرة من الأمثلة المُعلّمة، والتي تُعدّ مكلفة من حيث التصنيف. في هذه الدراسة، نعيد صياغة مهمة استخلاص العلاقات كمهمة استخلاص استنتاج نصي (entailment)، باستخدام صيغ لغوية بسيطة ومحسوبة يدويًا، يتم إنشاؤها في أقل من 15 دقيقة لكل علاقة. تعتمد هذه الأنظمة على محرك مُدرّب مسبقًا للاستنتاج النصي، والذي يُستخدم دون أي تعديل (بدون تدريب، أي بحالة "صفر تدريب") أو يُعدّل بشكل دقيق (fine-tuned) على أمثلة مُعلّمة (بعدد قليل من الأمثلة أو تدريب كامل). في تجاربنا على مجموعة بيانات TACRED، حققنا 63% من القيمة F1 في الحالة الصفرية للتدريب، و69% باستخدام 16 مثالًا لكل علاقة (أفضل بـ17 نقطة مئوية من أفضل نظام مُدرّب مسبقًا في نفس الظروف)، ونقطة واحدة فقط تفصلنا عن أفضل الأنظمة الحالية (التي تستخدم 20 مرة أكثر من بيانات التدريب). كما أظهرنا أن الأداء يمكن تحسينه بشكل كبير باستخدام نماذج استنتاج نصي أكبر، بما يصل إلى 12 نقطة في الحالة الصفرية للتدريب، ما يسمح لنا بتقديم أفضل النتائج حتى الآن على TACRED عند التدريب الكامل. وتبين التحليلات أن الأنظمة ذات عدد قليل من الأمثلة تكون فعالة بشكل خاص في التمييز بين العلاقات، وأن الفرق في الأداء في بيئات البيانات المحدودة يأتي في المقام الأول من قدرة النموذج على تحديد الحالات التي لا توجد فيها علاقة.