HyperAIHyperAI

Command Palette

Search for a command to run...

منذ 3 أشهر

نظرة عامة على مهمة المشاركة لتنبؤ الصلاحية والابتكار لعام 2022

{Philipp Cimiano Moritz Plenz Juri Opitz Anette Frank Philipp Heinisch}

نظرة عامة على مهمة المشاركة لتنبؤ الصلاحية والابتكار لعام 2022

الملخص

تقدم هذه الورقة ملخصًا لل任務 المشتركة المعنونة بـ "تنبؤ صحة الحجة وحداثة الاستنتاج"، التي نُظمت كجزء من الدورة التاسعة لملتقى استخراج الحجج (ArgMining 2022). ركزت هذه المهمة على تنبؤ صحة الاستنتاج وحداثته بناءً على فرضية نصية مُعطاة. ويشير مفهوم "الصحة" إلى مدى تبرير الاستنتاج بالنسبة للفرضية المقدمة، بينما يُعرّف "الحداثة" بدرجة احتواء الاستنتاج على محتوى جديد مقارنة بالفرضية. شارك ست مجموعات في هذه المهمة، وقدمت ما مجموعه 13 تشغيلًا لنظام التصنيف الثنائي، و2 تشغيل لنظام التصنيف النسبي. أظهرت النتائج أن المهمة تُعدّ صعبة، حيث بلغت أفضل النتائج في تنبؤ صحة الاستنتاج ما يقارب 75% من مقياس F1، وفي تنبؤ الحداثة 70% من مقياس F1، وفي التنبؤ الصحيح بعنصري الصحة والحداثة معًا 45% من مقياس F1. في هذه الورقة، نلخّص تعريف المهمة والبيانات المستخدمة فيها. كما نقدّم نظرة عامة على النتائج التي حققتها الأنظمة المشاركة، بالإضافة إلى الرؤى المستخلصة من المساهمات المتنوعة.

المعايير القياسية

معيار قياسيالمنهجيةالمقاييس
valnov-on-valnov-subtask-aACCEPT-1
JOINT-F1: 43.13
NOV-F1: 70.00
VAL-F1: 59.20
valnov-on-valnov-subtask-aBaseline
JOINT-F1: 23.90
NOV-F1: 36.12
VAL-F1: 59.96
valnov-on-valnov-subtask-aCSS
JOINT-F1: 42.40
NOV-F1: 59.86
VAL-F1: 70.76
valnov-on-valnov-subtask-aSystem Average
JOINT-F1: 35.94
NOV-F1: 52.97
VAL-F1: 62.74
valnov-on-valnov-subtask-aNLP@UIT
JOINT-F1: 25.89
NOV-F1: 43.36
VAL-F1: 61.72
valnov-on-valnov-subtask-aCLTeamL-3
JOINT-F1: 45.16
NOV-F1: 61.75
VAL-F1: 74.64
valnov-on-valnov-subtask-aHarshad
JOINT-F1: 17.35
NOV-F1: 39.00
VAL-F1: 56.31
valnov-on-valnov-subtask-bAXiS@EdUni
JOINT-F1: 29.16
NOV-F1: 25.86
VAL-F1: 32.47
valnov-on-valnov-subtask-bNLP@UIT
JOINT-F1: 41.50
NOV-F1: 38.39
VAL-F1: 44.60
valnov-on-valnov-subtask-bBaseline
JOINT-F1: 21.46
NOV-F1: 23.09
VAL-F1: 19.82

بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة المشتركة بالذكاء الاصطناعي
وحدات معالجة رسومات جاهزة
أفضل الأسعار
ابدأ الآن

Hyper Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp