نظرة عامة على مهمة المشاركة لتنبؤ الصلاحية والابتكار لعام 2022

تقدم هذه الورقة ملخصًا لل任務 المشتركة المعنونة بـ "تنبؤ صحة الحجة وحداثة الاستنتاج"، التي نُظمت كجزء من الدورة التاسعة لملتقى استخراج الحجج (ArgMining 2022). ركزت هذه المهمة على تنبؤ صحة الاستنتاج وحداثته بناءً على فرضية نصية مُعطاة. ويشير مفهوم "الصحة" إلى مدى تبرير الاستنتاج بالنسبة للفرضية المقدمة، بينما يُعرّف "الحداثة" بدرجة احتواء الاستنتاج على محتوى جديد مقارنة بالفرضية. شارك ست مجموعات في هذه المهمة، وقدمت ما مجموعه 13 تشغيلًا لنظام التصنيف الثنائي، و2 تشغيل لنظام التصنيف النسبي. أظهرت النتائج أن المهمة تُعدّ صعبة، حيث بلغت أفضل النتائج في تنبؤ صحة الاستنتاج ما يقارب 75% من مقياس F1، وفي تنبؤ الحداثة 70% من مقياس F1، وفي التنبؤ الصحيح بعنصري الصحة والحداثة معًا 45% من مقياس F1. في هذه الورقة، نلخّص تعريف المهمة والبيانات المستخدمة فيها. كما نقدّم نظرة عامة على النتائج التي حققتها الأنظمة المشاركة، بالإضافة إلى الرؤى المستخلصة من المساهمات المتنوعة.