대규모 언어 모델을 활용한 텍스트-to-SQL: 벤치마크 평가

대규모 언어 모델(Large Language Models, LLMs)은 텍스트-to-SQL 작업에 새로운 패러다임으로 부상하고 있다. 그러나 체계적인 벤치마크의 부재로 인해 효과적이고 효율적이며 경제적인 LLM 기반 텍스트-to-SQL 솔루션 개발이 제한되고 있다. 이 문제를 해결하기 위해 본 논문에서는 기존 프롬프트 엔지니어링 기법들—질문 표현, 예시 선택, 예시 구성—에 대한 체계적이고 광범위한 비교를 수행하고, 실험 결과를 바탕으로 각 기법의 장단점을 분석한다. 이러한 분석을 토대로, 새로운 통합 솔루션인 DAIL-SQL을 제안하며, 이는 Spider 리더보드에서 실행 정확도 86.6%를 기록하여 새로운 기준을 설정하였다. 오픈소스 LLM의 잠재력을 탐구하기 위해 다양한 시나리오에서 이를 평가하고, 지도형 미세조정(supervised fine-tuning)을 통해 성능을 추가로 향상시켰다. 본 연구는 오픈소스 LLM이 텍스트-to-SQL 분야에서 가진 잠재력을 강조하며, 지도형 미세조정의 장단점 또한 제시한다. 또한, 효율적이고 경제적인 LLM 기반 텍스트-to-SQL 솔루션을 위한 방향으로, 프롬프트 엔지니어링에서의 토큰 효율성(token efficiency)을 강조하고, 이 지표 하에서 기존 연구들을 비교하였다. 본 연구가 LLM을 활용한 텍스트-to-SQL에 대한 깊이 있는 이해를 제공하고, 향후 연구와 광범위한 응용을 촉진하는 계기가 되기를 기대한다.