PICARD: 언어 모델로부터 제약된 순차적 디코딩을 위한 점진적 구문 분석

텍스트 데이터를 위한 대규모 사전 훈련된 언어 모델은 출력 공간이 제한되지 않으며, 각 디코딩 단계에서 수만 개의 하위어 토큰 중 어떤 것도 생성할 수 있습니다. SQL과 같은 제약된 형식 언어로 미세조정된 경우, 이러한 모델은 종종 유효하지 않은 코드를 생성하게 되어 사용이 불가능해집니다. 우리는 PICARD(코드 및 훈련된 모델은 https://github.com/ElementAI/picard 에 공개됨)를 제안합니다. 이는 언어 모델의 순차적 디코더를 증분 구문 분석(incremental parsing)을 통해 제약하는 방법입니다. PICARD는 각 디코딩 단계에서 부적절한 토큰을 거부함으로써 유효한 출력 시퀀스를 찾는 데 도움을 줍니다. 도전적인 Spider 및 CoSQL 텍스트-SQL 번역 작업에서, 미세조정된 T5 모델이 보통의 성능을 보였던 것을 PICARD를 통해 최신 기술 수준의 솔루션으로 전환함을 보여줍니다.