Aperçu de la tâche partagée de prédiction de validité et de nouveauté 2022

Cet article présente un aperçu de la tâche partagée sur la validation des arguments et la prédiction de la nouveauté, organisée dans le cadre du 9e Atelier sur l’extraction d’arguments (ArgMining 2022). La tâche portait sur la prédiction de la validité et de la nouveauté d’une conclusion à partir d’un énoncé textuel prémisse. La validité est définie comme le degré de justification de la conclusion par rapport à la prémisse donnée. La nouveauté, quant à elle, mesure le degré avec lequel la conclusion contient un contenu nouveau par rapport à la prémisse. Six équipes ont participé à cette tâche, soumettant au total 13 exécutions de systèmes pour la sous-tâche de classification binaire et 2 exécutions pour la sous-tâche de classification relative. Les résultats montrent que la tâche est difficile : les meilleurs résultats obtenus atteignent un score F1 de 75 % pour la prédiction de la validité, de 70 % pour la prédiction de la nouveauté, et de 45 % pour la prédiction correcte simultanée de la validité et de la nouveauté. Dans cet article, nous résumons la définition de la tâche ainsi que le jeu de données utilisé. Nous présentons également un aperçu des résultats obtenus par les systèmes participants, ainsi que des perspectives tirées des contributions diversifiées.