RASAT: 텍스트-SQL 변환을 위한 사전 훈련된 Seq2Seq 모델에 관계 구조 통합하기

스키마 링킹 및 스키마 인코딩과 같은 관계 구조는 자연어를 SQL 쿼리로 질적으로 변환하는 데 핵심적인 구성 요소로 입증되어 왔다. 그러나 이러한 구조적 관계를 도입하는 것은 비용을 수반한다. 즉, 일반적으로 전문화된 모델 구조를 필요로 하여 텍스트에서 SQL로의 변환(task)에서 대규모 사전 훈련된 모델의 활용을 크게 제한한다. 이 문제를 해결하기 위해, 우리는 T5 모델의 사전 훈련된 파라미터를 효과적으로 계승하면서 다양한 관계 구조를 활용할 수 있는 관계 인지(self-attention)를 갖춘 Transformer seq2seq 아키텍처인 RASAT을 제안한다. 제안한 모델은 기존 문헌에 존재하는 거의 모든 유형의 관계를 통합할 수 있으며, 특히 다단계 대화(multi-turn) 시나리오에 적합하도록 공참조(co-reference) 관계를 도입하는 새로운 방안을 제시한다. 스파이더(Spider), SParC, CoSQL 등 널리 사용되는 세 가지 텍스트-SQL 데이터셋에서 수행된 실험 결과, RASAT은 단일 단계(single-turn) 및 다단계(multi-turn) 시나리오를 모두 포함하여 세 벤치마크에서 최고 성능을 달성하였다. 각각의 정확도는 스파이더에서 75.5% EX, SParC에서 52.6% IEX, CoSQL에서 37.4% IEX를 기록하였다.