CoSQL: 데이터베이스에 대한 교차 도메인 자연어 인터페이스를 향한 대화형 텍스트-SQL 챌린지

우리는 다양한 도메인에서 일반적인 데이터베이스(DB) 질의 대화 시스템을 구축하기 위한 CoSQL이라는 코퍼스를 제안한다. 이 코퍼스는 3,000개의 대화에서 수집된 와이즈먼드-오브-오즈(Wizard-of-Oz, WOZ) 데이터를 바탕으로 하며, 138개의 도메인에 걸쳐 200개의 복잡한 DB를 대상으로 한 3만 개 이상의 대화 단계와 1만 개 이상의 주석이 달린 SQL 쿼리로 구성되어 있다. 각 대화는 실제 DB 질의 상황을 시뮬레이션하며, 일반 사용자 역할을 맡은 커뮤니티 작업자와 SQL 전문가가 협력하여 질의를 수행한다. 전문가는 사용자의 질문에 대해 SQL을 사용해 답변을 추출하거나, 모호한 질문에 대해 명확히 설명하거나, 답변이 불가능한 경우 이를 알리는 방식으로 상호작용을 유지한다. 사용자의 질문이 SQL로 해결 가능한 경우, 전문가는 해당 SQL 쿼리와 실행 결과를 사용자에게 설명함으로써 자연스러운 대화 흐름을 유지한다. CoSQL은 기존의 작업 중심 대화 데이터셋과 비교하여 다음과 같은 새로운 도전 과제를 제시한다: (1) 대화 상태가 도메인에 종속적인 슬롯-값 쌍이 아니라, 도메인 독립적인 실행 가능한 표현인 SQL에 기반하고 있으며, (2) 테스트가 미리 보지 않은 데이터베이스에서 수행되므로, 새로운 도메인으로의 일반화가 성공의 핵심 요건이 된다. CoSQL은 세 가지 주요 과제를 포함한다: SQL 기반 대화 상태 추적, 질의 결과로부터 응답 생성, 사용자 대화 행위 예측. 우리는 각 과제에 대해 강력한 베이스라인 모델을 평가하고, CoSQL이 향후 연구에 있어 상당한 도전 과제를 제시함을 보여준다. 본 데이터셋, 베이스라인 모델, 랭킹 보드는 https://yale-lily.github.io/cosql에서 공개될 예정이다.