Command Palette
Search for a command to run...
نظرة عامة على مهمة المشاركة لتنبؤ الصلاحية والابتكار لعام 2022
{Philipp Cimiano Moritz Plenz Juri Opitz Anette Frank Philipp Heinisch}

الملخص
تقدم هذه الورقة ملخصًا لل任務 المشتركة المعنونة بـ "تنبؤ صحة الحجة وحداثة الاستنتاج"، التي نُظمت كجزء من الدورة التاسعة لملتقى استخراج الحجج (ArgMining 2022). ركزت هذه المهمة على تنبؤ صحة الاستنتاج وحداثته بناءً على فرضية نصية مُعطاة. ويشير مفهوم "الصحة" إلى مدى تبرير الاستنتاج بالنسبة للفرضية المقدمة، بينما يُعرّف "الحداثة" بدرجة احتواء الاستنتاج على محتوى جديد مقارنة بالفرضية. شارك ست مجموعات في هذه المهمة، وقدمت ما مجموعه 13 تشغيلًا لنظام التصنيف الثنائي، و2 تشغيل لنظام التصنيف النسبي. أظهرت النتائج أن المهمة تُعدّ صعبة، حيث بلغت أفضل النتائج في تنبؤ صحة الاستنتاج ما يقارب 75% من مقياس F1، وفي تنبؤ الحداثة 70% من مقياس F1، وفي التنبؤ الصحيح بعنصري الصحة والحداثة معًا 45% من مقياس F1. في هذه الورقة، نلخّص تعريف المهمة والبيانات المستخدمة فيها. كما نقدّم نظرة عامة على النتائج التي حققتها الأنظمة المشاركة، بالإضافة إلى الرؤى المستخلصة من المساهمات المتنوعة.
المعايير القياسية
| معيار قياسي | المنهجية | المقاييس | 
|---|---|---|
| valnov-on-valnov-subtask-a | ACCEPT-1 | JOINT-F1: 43.13 NOV-F1: 70.00 VAL-F1: 59.20  | 
| valnov-on-valnov-subtask-a | Baseline | JOINT-F1: 23.90 NOV-F1: 36.12 VAL-F1: 59.96  | 
| valnov-on-valnov-subtask-a | CSS | JOINT-F1: 42.40 NOV-F1: 59.86 VAL-F1: 70.76  | 
| valnov-on-valnov-subtask-a | System Average | JOINT-F1: 35.94 NOV-F1: 52.97 VAL-F1: 62.74  | 
| valnov-on-valnov-subtask-a | NLP@UIT | JOINT-F1: 25.89 NOV-F1: 43.36 VAL-F1: 61.72  | 
| valnov-on-valnov-subtask-a | CLTeamL-3 | JOINT-F1: 45.16 NOV-F1: 61.75 VAL-F1: 74.64  | 
| valnov-on-valnov-subtask-a | Harshad | JOINT-F1: 17.35 NOV-F1: 39.00 VAL-F1: 56.31  | 
| valnov-on-valnov-subtask-b | AXiS@EdUni | JOINT-F1: 29.16 NOV-F1: 25.86 VAL-F1: 32.47  | 
| valnov-on-valnov-subtask-b | NLP@UIT | JOINT-F1: 41.50 NOV-F1: 38.39 VAL-F1: 44.60  | 
| valnov-on-valnov-subtask-b | Baseline | JOINT-F1: 21.46 NOV-F1: 23.09 VAL-F1: 19.82  | 
بناء الذكاء الاصطناعي بالذكاء الاصطناعي
من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.