다중 질문 유형을 활용한 다단계 텍스트-SQL 변환을 위한 LLM 평가 및 개선

최근 대형 언어 모델(LLM)의 발전은 텍스트-SQL 시스템을 크게 진보시켰습니다. 그러나 대부분의 LLM 기반 방법들은 종종 SQL 생성에만 집중하여 실제 세계 대화형 쿼리의 복잡성을 간과하는 경향이 있습니다. 이러한 간과는 특히 SQL로 직접 해결할 수 없는 모호한 질문에 대해 신뢰성 있는 응답을 제공하지 못하게 할 수 있습니다. 이 격차를 메우기 위해, 우리는 다양한 질문 유형과 다단계 Q&A 상호작용을 시뮬레이션하여 LLM의 질문 분류 및 SQL 생성 능력을 평가하도록 설계된 포괄적인 테스트 스위트인 MMSQL을 제안합니다. MMSQL을 사용하여 오픈 소스와 클로즈드 소스 모델을 포함한 인기 있는 LLM들의 성능을 평가하고, 이러한 시나리오에서 성능에 영향을 미치는 주요 요인들을 식별하였습니다. 또한, 우리는 전문 에이전트를 활용하여 질문 유형을 식별하고 적절한 답변 전략을 결정하는 LLM 기반 다중 에이전트 프레임워크를 소개합니다. 실험 결과, 이 접근 방식은 모델이 대화 동역학의 복잡성을 탐색하는 능력을 크게 향상시키며, 사용자 쿼리의 다양성과 복잡성을 효과적으로 처리할 수 있음을 보여주었습니다. 우리의 데이터셋과 코드는 https://mcxiaoxiao.github.io/MMSQL에서 공개적으로 이용 가능합니다.