HellaSwag 대형 모델 상식 추론 데이터 세트

*이 데이터 세트는 온라인 사용을 지원합니다.여기를 클릭하여 이동하세요.

HellaSwag 데이터 세트는 상식적 자연어 추론(상식적 NLI)을 테스트하기 위한 새로운 챌린지 데이터 세트입니다. 이 데이터 세트는 2019년 워싱턴 대학과 앨런 AI가 공동으로 출시한 것으로, 기존 최첨단 모델이 감당하기 어려운 데이터 세트를 구성하여 심층적 사전 학습 모델의 상식적 추론 성능을 탐구하는 것을 목표로 합니다. 관련 논문 및 결과HellaSwag: 기계가 정말로 당신의 문장을 완성할 수 있을까?"는 ACL 2019에 승인되었습니다.

HellaSwag 데이터 세트에는 70,000개의 질문이 포함되어 있는데, 인간에게는 매우 쉬운 질문(정확도 95% 이상)임에도 불구하고, 최첨단 모델조차도 인간 수준에 가까운 성능(정확도 약 48%)을 달성하는 데 어려움을 겪습니다. 데이터 세트는 적대적 필터링(AF) 방법을 통해 구성되는데, 이는 일련의 판별자를 사용하여 기계가 생성한 잘못된 답변을 반복적으로 선택하여 데이터 세트의 난이도를 높입니다. HellaSwag의 생성은 심층적으로 사전 학습된 모델의 내부 작동 방식을 밝히고 벤치마크가 최첨단 모델과 적대적인 방식으로 공동 진화하여 더 어려운 작업을 제공하는 NLP 연구에 대한 새로운 방향을 제공합니다.