초록
인상적인 자연어 처리(NLP) 기술의 발전은 GLUE 및 SuperGLUE와 같은 다중 작업 벤치마크의 개발에 의해 주도되었습니다. 이러한 벤치마크는 하나 또는 두 개의 입력 문장에 초점을 맞추고 있지만, 최근에는 훨씬 긴 입력을 처리하기 위한 효율적인 기술 설계에 대한 흥미로운 연구가 이루어졌습니다. 본 논문에서는 10,000 토큰 이상의 문서만으로 구성된 새로운 장문서 벤치마크인 MuLD를 소개합니다. 기존 NLP 작업을 수정하여, 모델이 텍스트에서 장기 의존성을 성공적으로 모델링할 수 있도록 다양한 벤치마크를 생성하였습니다. 우리는 기존 모델들의 성능을 평가하였으며, 이 벤치마크가 '단문서' 대응물보다 훨씬 어려움을 발견하였습니다. 또한 일반 트랜스포머와 효율적인 트랜스포머를 모두 평가함으로써, 컨텍스트 길이가 증가한 모델들이 제시된 작업들을 더 잘 해결할 수 있음을 보였습니다. 이는 이러한 모델들의 미래 개선이 유사한 장문서 문제 해결에 필수적임을 시사합니다. 우리는 데이터와 기준선 코드를 공개하여, 효율적인 NLP 모델에 대한 추가 연구를 촉진하고자 합니다.