2022년 타당성 및 신규성 예측 공동 과제 개요

이 논문은 2022년 제9회 논증 마이닝 워크숍(ArgMining 2022)의 일환으로 개최된 ‘논증 타당성 및 독창성 예측 공동 과제(Argument Validity and Novelty Prediction Shared Task)’에 대한 개요를 제시한다. 본 과제는 텍스트 형태의 전제(premise)가 주어졌을 때 그에 대한 결론의 타당성(validity)과 독창성(novelty)을 예측하는 것을 목표로 한다. 타당성은 주어진 전제에 비추어 결론이 얼마나 타당하게 지지되는지를 나타내며, 독창성은 결론이 전제에 비해 얼마나 새로운 내용을 포함하고 있는지를 의미한다. 총 6개의 팀이 과제에 참여하여 이진 분류 하위 과제에 대해 총 13개의 시스템 실행을 제출하였고, 상대적 분류 하위 과제에는 2개의 시스템 실행을 제출하였다. 결과는 과제의 도전성과 높은 난이도를 보여주며, 타당성 예측의 경우 최고 F1 점수가 약 75% 수준, 독창성 예측은 약 70% 수준, 타당성과 독창성을 동시에 올바르게 예측한 경우는 45% F1 점수에 달했다. 본 논문에서는 과제의 정의와 사용된 데이터셋을 요약하며, 참가 시스템들이 도출한 결과를 전반적으로 살펴보고, 다양한 기여로부터 도출할 수 있는 통찰을 제시한다.