SCoRe: 대화형 의미 구문 분석에서의 컨텍스트 표현을 위한 사전 훈련

대화형 의미 구문 분석(CSP)은 구조화된 온톨로지(예: 데이터베이스, 지식 기반)에 대해 실행 가능한 형식 언어(SQL, SPARQL 등)로 자연어 쿼리 시퀀스를 변환하는 작업이다. 이 작업을 수행하기 위해 CSP 시스템은 비구조화된 언어 발화와 구조화된 온톨로지 간의 관계를 모델링하고, 대화의 다중턴(dynamic) 특성을 표현해야 한다. 사전 훈련된 언어 모델(LM)은 다양한 자연어 처리 작업에서 최첨단 성능을 보이고 있다. 그러나 기존의 사전 훈련된 언어 모델은 자유형 텍스트 위에서 언어 모델링 훈련 목표를 사용하기 때문에, 맥락적 구조 데이터에 대한 자연어 참조를 효과적으로 표현하는 데 한계가 있다. 본 연구에서는 대화 흐름과 구조적 맥락 간의 정렬을 포착할 수 있는 표현을 유도하기 위해 CSP 작업을 위한 새로운 사전 훈련 방법인 SCORE를 제안한다. 우리는 SCORE를 SPARC, COSQL, MWOZ, SQA 등 네 가지 다른 작업에 강력한 기반 시스템과 결합하여, SCORE의 광범위한 적용 가능성을 입증한다. 결과적으로 SCORE는 모든 기반 시스템에서 유의미한 성능 향상을 보이며, 세 가지 작업에서 최첨단 성능을 달성하였다. 모델의 구현 코드와 체크포인트는 익명 URL을 통해 공개될 예정이다.