실제 환경에서의 Text-to-SQL: Stack Exchange 데이터를 기반으로 한 자연 발생적 데이터셋

현재 제공되는 대부분의 의미 구문 분석 데이터셋은 자연어 이해 시스템의 훈련 및 평가를 목적으로 단지 수집된 자연어 표현과 논리 형태의 쌍으로 구성되어 있다. 그 결과, 이러한 데이터셋은 인간이 필요한 데이터를 묻거나 호기심을 느끼며 자연스럽게 사용하는 표현의 풍부함과 다양성을 포함하고 있지 않다. 본 연구에서는 스택 익스체인지(Stack Exchange) 웹사이트에서 실제 사용자 활동을 통해 수집한 12,023개의 문장과 SQL 쿼리 쌍으로 구성된 SEDE 데이터셋을 공개한다. 우리는 이러한 쌍들이 기존의 어떤 의미 구문 분석 데이터셋에도 거의 반영되지 않은 다양한 실제 세계적 도전 과제를 포함하고 있음을 보이며, 부분 쿼리 절을 비교하는 기반의 평가 지표를 제안하여 실제 쿼리에 더 적합한 평가 방식을 제시한다. 또한 강력한 베이스라인 모델을 활용한 실험을 수행하여, SEDE에서의 성능과 기존 일반적인 데이터셋에서의 성능 사이에 큰 격차가 있음을 확인하였다.