HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

Aperçu de la tâche partagée de prédiction de validité et de nouveauté 2022

{Philipp Cimiano Moritz Plenz Juri Opitz Anette Frank Philipp Heinisch}

Aperçu de la tâche partagée de prédiction de validité et de nouveauté 2022

Résumé

Cet article présente un aperçu de la tâche partagée sur la validation des arguments et la prédiction de la nouveauté, organisée dans le cadre du 9e Atelier sur l’extraction d’arguments (ArgMining 2022). La tâche portait sur la prédiction de la validité et de la nouveauté d’une conclusion à partir d’un énoncé textuel prémisse. La validité est définie comme le degré de justification de la conclusion par rapport à la prémisse donnée. La nouveauté, quant à elle, mesure le degré avec lequel la conclusion contient un contenu nouveau par rapport à la prémisse. Six équipes ont participé à cette tâche, soumettant au total 13 exécutions de systèmes pour la sous-tâche de classification binaire et 2 exécutions pour la sous-tâche de classification relative. Les résultats montrent que la tâche est difficile : les meilleurs résultats obtenus atteignent un score F1 de 75 % pour la prédiction de la validité, de 70 % pour la prédiction de la nouveauté, et de 45 % pour la prédiction correcte simultanée de la validité et de la nouveauté. Dans cet article, nous résumons la définition de la tâche ainsi que le jeu de données utilisé. Nous présentons également un aperçu des résultats obtenus par les systèmes participants, ainsi que des perspectives tirées des contributions diversifiées.

Benchmarks

BenchmarkMéthodologieMétriques
valnov-on-valnov-subtask-aACCEPT-1
JOINT-F1: 43.13
NOV-F1: 70.00
VAL-F1: 59.20
valnov-on-valnov-subtask-aBaseline
JOINT-F1: 23.90
NOV-F1: 36.12
VAL-F1: 59.96
valnov-on-valnov-subtask-aCSS
JOINT-F1: 42.40
NOV-F1: 59.86
VAL-F1: 70.76
valnov-on-valnov-subtask-aSystem Average
JOINT-F1: 35.94
NOV-F1: 52.97
VAL-F1: 62.74
valnov-on-valnov-subtask-aNLP@UIT
JOINT-F1: 25.89
NOV-F1: 43.36
VAL-F1: 61.72
valnov-on-valnov-subtask-aCLTeamL-3
JOINT-F1: 45.16
NOV-F1: 61.75
VAL-F1: 74.64
valnov-on-valnov-subtask-aHarshad
JOINT-F1: 17.35
NOV-F1: 39.00
VAL-F1: 56.31
valnov-on-valnov-subtask-bAXiS@EdUni
JOINT-F1: 29.16
NOV-F1: 25.86
VAL-F1: 32.47
valnov-on-valnov-subtask-bNLP@UIT
JOINT-F1: 41.50
NOV-F1: 38.39
VAL-F1: 44.60
valnov-on-valnov-subtask-bBaseline
JOINT-F1: 21.46
NOV-F1: 23.09
VAL-F1: 19.82

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Aperçu de la tâche partagée de prédiction de validité et de nouveauté 2022 | Articles de recherche | HyperAI