언어 모델 기반 텍스트-to-SQL 의미 해석에서 일반화 성능 향상: 두 가지 간단한 의미 경계 기반 기법

구성성(compositional) 및 도메인 일반화는 사전 훈련된 언어 모델(LM) 기반의 최첨단 의미 구문 분석기에서도 여전히 큰 도전 과제로 남아 있다. 본 연구에서는 두 가지 간단한 기법을 통해 LM의 의미 구문 분석에서의 일반화 능력을 향상시키는 것을 실험적으로 탐구한다. 토큰 수준에서는 LM 토크나이저가 생성한 토큰의 의미 경계를 유지하기 위한 토큰 사전 처리 방법을 제안한다. 시퀀스 수준에서는 입력과 출력 사이에 일치하는 구성 요소의 경계를 특수 토큰으로 표시하는 방식을 제안한다. 두 가지 텍스트-to-SQL 의미 구문 분석 데이터셋에 대한 실험 결과에 따르면, 단순한 토큰 사전 처리 기법이 구성성 및 도메인 일반화 양쪽 모두에서 LM의 성능을 크게 향상시킬 수 있으며, 구성 요소 경계 표시 방법은 특히 구성성 일반화에 있어 매우 유용함을 확인하였다.