초록
문맥 내 학습(In-Context Learning, ICL)은 대형 언어 모델(Large Language Models, LLMs)이 프롬프트에 추가된 작업 시연에서 혜택을 받는 강력한 패러다임입니다. 그러나 복잡하거나 다중 모드의 작업, 특히 입력과 출력 분포가 다른 경우 최적의 시연을 선택하는 것은 쉽지 않습니다. 우리는 작업별로 입력의 표현을 형성하는 것이 핵심이라고 가정합니다. 이 논문에서는 자연어 질문과 SQL 쿼리의 표현을 공유 임베딩 공간에서 일치시키는 방법을 제안합니다. 우리의 기술은 메타데이터 무관 표현 학습(Metadata-Agnostic Representation Learning for Text-to-SQL, MARLO)으로 명명되었으며, 쿼리 구조를 활용하여 데이터베이스 메타데이터(즉, 질문이나 쿼리에서 참조되는 테이블, 열 또는 도메인 특화 엔티티)에 과도하게 의존하지 않고 질의 의도를 모델링합니다. 이를 통해 MARLO는 특정 도메인이나 질문 문장과 무관하게 구조적이고 의미적으로 관련성이 높은 예제를 선택할 수 있습니다. 질문 유사성을 기반으로 예제를 검색할 때 MARLO는 Spider 벤치마크에서 일반적인 임베딩 모델보다 평균 2.9% 포인트 높은 실행 정확도를 보여줍니다. 또한 메타데이터 정보를 마스킹하는 다음 최고의 방법보다 평균 0.8% 포인트 높은 실행 정확도를 달성하면서 동시에 유의미하게 낮은 추론 지연 시간을 요구합니다.