과학 리더보드 구축을 위한 작업 식별, 데이터셋, 평가 지표 및 수치 점수의 선정

새로운 작업과 데이터셋의 빠른 도입은 커뮤니티가 흥미로운 방향으로 활발한 연구를 촉진하는 데 도움이 되지만, 다양한 분야와 데이터셋에서 이루어지는 다수의 연구 활동을 추적하는 것은 점점 더 어려워질 것으로 보입니다. 과학적 결과를 요약할 수 있는 자동 시스템(예: 리더보드 형태)은 커뮤니티에 큰 이점을 제공할 수 있을 것입니다. 본 논문에서는 두 개의 데이터셋을 구축하고, NLP 논문에서 작업, 데이터셋, 평가지표 및 점수를 자동으로 추출하기 위한 프레임워크(TDMS-IE)를 개발하였습니다. 실험 결과, 제안된 모델이 여러 기준모델을 크게 능가함을 확인할 수 있었습니다. 본 모델은 NLP 영역에서의 자동 리더보드 구성을 위한 첫걸음이 될 것입니다.