불완전한 데이터를 사용하여 사전 학습된 복사 증강 아키텍처를 통한 문법 오류 수정 개선

신경망 기계 번역 시스템은 문법 오류 수정(Grammatical Error Correction, GEC) 작업에서 최첨단 접근 방식이 되었습니다. 본 논문에서는 소스 문장에서 변경되지 않은 단어를 대상 문장으로 복사하는 GEC 작업을 위한 복사 확장 아키텍처를 제안합니다. GEC는 높은 정확도를 달성하기 위해 충분한 라벨된 훈련 데이터가 부족한 문제를 가지고 있습니다. 이를 해결하기 위해 우리는 라벨되지 않은 One Billion Benchmark 데이터셋을 사용하여 노이즈 제거 오토인코더(denoising auto-encoder)로 복사 확장 아키텍처를 사전 학습(pre-train)하고, 완전히 사전 학습된 모델과 부분적으로 사전 학습된 모델 간의 비교 실험을 수행합니다. 이는 소스 문맥에서 단어를 복사하고 시퀀스-투-시퀀스(sequence-to-sequence) 모델을 완전히 사전 학습하는 것이 GEC 작업에서 처음으로 실험되는 경우입니다. 또한, 우리는 토큰 수준(token-level)과 문장 수준(sentence-level)의 다중 태스크 학습(multi-task learning)을 GEC 작업에 추가하였습니다. CoNLL-2014 테스트 세트에서의 평가 결과는 우리의 접근 방식이 최근에 발표된 모든 최첨단 결과보다 크게 우수함을 보여주고 있습니다. 코드와 사전 학습된 모델은 https://github.com/zhawe01/fairseq-gec 에서 제공됩니다.