CHESS: 효율적인 SQL 합성의 맥락적 활용

자연어 질문을 SQL 쿼리로 변환하는 문제, 즉 텍스트-투-SQL(text-to-SQL)은 오랜 연구 주제입니다. 효과적인 텍스트-투-SQL 합성은 (i) 데이터베이스 카탈로그(테이블과 그 열의 설명) 및 데이터베이스 값의 방대한 크기, (ii) 큰 데이터베이스 스키마에 대한 추론, (iii) 생성된 쿼리의 기능적 유효성을 보장하고, (iv) 자연어 질문의 모호성을 처리해야 하는 이유로 매우 어려울 수 있습니다. 우리는 효율적이고 확장 가능한 SQL 합성을 위한 대규모 언어 모델(LLM) 기반 다중 에이전트 프레임워크인 CHESS를 소개합니다. 이 프레임워크는 위에서 언급한 각 도전 과제를 목표로 하는 네 가지 전문 에이전트로 구성되어 있습니다: 정보 검색기(IR)는 관련 데이터를 추출하고, 스키마 선택기(SS)는 큰 스키마를 축소하며, 후보 생성기(CG)는 고품질 후보를 생성하고 쿼리를 반복적으로 개선하며, 단위 테스터(UT)는 LLM 기반 자연어 단위 테스트를 통해 쿼리를 검증합니다.우리 프레임워크는 다양한 배포 제약 조건에 맞게 조정할 수 있는 구성 가능한 특징을 제공합니다.1) 산업 규모 데이터베이스 지원: 스키마 선택기 에이전트를 활용하여 CHESS는 매우 큰 데이터베이스 스키마를 관리 가능한 하위 스키마로 효율적으로 좁혀내며, 시스템 정확도를 약 2% 높이고 LLM 토큰 수를 5배 줄일 수 있습니다.2) 최신 사생활 보호 성능: 오픈 소스 모델을 사용하는 방법들 중 CHESS는 최고 성능을 달성하여 고성능 사생활 보호 시스템을 구현하며, 산업 배포에 적합합니다.3) 추가 컴퓨팅 예산으로 확장성: 높은 계산 예산 환경에서 CHESS는 BIRD 테스트 세트에서 71.10%의 정확도를 달성하며, 선두 주자의 독점적인 방법보다 약 2% 낮지만 LLM 호출 횟수를 약 83% 줄일 수 있습니다.