더 나은 사전 학습과 순차적 전이 학습을 기반으로 구축된 신경망 문법 오류 수정 시스템

문법 오류 수정은 공개적으로 사용 가능한 병렬 말뭉치가 제한적이기 때문에 저자원 시퀀스-투-시퀀스 작업으로 간주될 수 있습니다. 이 문제를 해결하기 위해, 먼저 현실적인 노이징 함수를 사용하여 대규모 비주석 말뭉치의 오류 버전을 생성합니다. 이렇게 생성된 병렬 말뭉치는 이후 트랜스포머 모델의 사전 학습에 사용됩니다. 그 다음, 순차적으로 전이 학습을 적용하여 이러한 모델을 테스트 세트의 영역과 스타일에 적응시킵니다. 컨텍스트 인식 신경망 철자 검사기와 결합하여, 우리의 시스템은 ACL 2019 BEA 공유 작업의 제약 조건 및 저자원 트랙에서 경쟁력 있는 결과를 달성하였습니다. 재현성을 위해 모든 코드와 자료를 공개합니다.