스파이더: 복잡하고 다중 영역의 의미 해석 및 텍스트-SQL 작업을 위한 대규모 인간 라벨링 데이터셋

우리는 11명의 대학생들이 주석한 대규모, 복잡하고 다중 영역에 걸친 의미 해석 및 텍스트-SQL 데이터셋인 Spider를 소개합니다. 이 데이터셋은 200개의 여러 테이블을 포함하는 데이터베이스에서 10,181개의 질문과 5,693개의 고유한 복잡한 SQL 쿼리를 포함하며, 138개의 다양한 영역을 포괄합니다. 우리는 새로운 복잡하고 다중 영역에 걸친 의미 해석 및 텍스트-SQL 작업을 정의하는데, 이 작업에서는 학습 세트와 테스트 세트에서 서로 다른 복잡한 SQL 쿼리와 데이터베이스가 나타납니다. 이렇게 하면 모델이 새로운 SQL 쿼리와 새로운 데이터베이스 스키마 모두에 대해 잘 일반화할 수 있어야 합니다. Spider는 대부분의 이전 의미 해석 작업들과 구별되는 특징으로, 이들 작업들은 단일 데이터베이스와 학습 세트 및 테스트 세트에서 동일한 프로그램들을 사용합니다. 우리는 다양한 최신 모델들을 실험하였으며, 가장 우수한 모델조차도 데이터베이스 분할 설정에서 12.4%의 정확도만 달성하였습니다. 이는 Spider가 미래 연구에 강력한 도전 과제임을 보여줍니다. 우리의 데이터셋과 작업은 공개적으로 이용 가능하며, 해당 링크는 https://yale-lily.github.io/spider 입니다.