병렬 반복 편집 모델을 통한 국소 시퀀스 변환

문맥 오류 수정(Grammatical Error Correction, GEC)과 같은 작업에서 나타나는 국소적 시퀀스 변환 문제를 해결하기 위해, 우리는 병렬 반복 편집(Parallel Iterative Edit, PIE) 모델을 제안한다. 최근의 접근 방식은 시퀀스에서 시퀀스로 학습하는 데 널리 사용되는 인코더-디코더(Encoder-Decoder, ED) 모델에 기반하고 있다. ED 모델은 출력 토큰 간의 전체 종속성을 자동 회귀적으로 모델링할 수 있는 장점가 있지만, 순차적 디코딩으로 인해 처리 속도가 느리다는 단점이 있다. 반면 PIE 모델은 병렬 디코딩을 수행함으로써 출력 토큰 간의 완전한 종속성 모델링의 이점을 포기하지만, 다음과 같은 네 가지 이유로 ED 모델과 경쟁 가능한 정확도를 달성한다: 1) 토큰을 직접 예측하는 대신 편집(edit)을 예측함, 2) 시퀀스를 생성하는 대신 시퀀스를 레이블링함, 3) 반복적으로 예측을 개선함으로써 종속성을 포착함, 4) BERT와 같은 사전 학습된 언어 모델을 활용하기 위해 편집과 그 토큰 인수에 대한 로짓(logit)을 분해(factorizing)함. GEC, OCR 오류 수정, 철자 오류 수정 등 다양한 작업에 대한 실험 결과는 PIE 모델이 국소적 시퀀스 변환 문제에 대해 정확하고 특히 빠른 대안임을 입증한다.