LexGLUE: 영어 법적 언어 이해를 위한 벤치마크 데이터셋

법과 그 해석, 법적 논거 및 계약은 일반적으로 서면으로 표현되며, 이로 인해 방대한 규모의 법적 텍스트 코퍼스가 생성된다. 이러한 자료집이 점점 커짐에 따라 법적 실무의 핵심인 법적 텍스트 분석도 더욱 복잡해지고 있다. 자연어 이해(Natural Language Understanding, NLU) 기술은 이러한 노력에서 법조인들에게 유용한 도구가 될 수 있다. 그러나 이러한 기술의 유용성은 현재 최첨단 모델들이 법적 영역 내 다양한 작업에 대해 일반화할 수 있는지 여부에 크게 달려 있다. 이 현재 미해결된 질문에 답하기 위해, 우리는 법적 NLU 작업의 다양한 분야에서 모델 성능을 표준화된 방식으로 평가할 수 있는 데이터셋 모음을 포함한 ‘법적 일반 언어 이해 평가(Legal General Language Understanding Evaluation, LexGLUE)’ 벤치마크를 도입한다. 또한 일반적인 모델과 법적 목적에 특화된 모델들을 평가하고 분석하여, 후자가 여러 작업에서 일관되게 성능 향상을 보임을 입증한다.