2달 전

자동 문법 오류 교정에서 인간 수준의 성능 달성: 실증적 연구

Tao Ge; Furu Wei; Ming Zhou
자동 문법 오류 교정에서 인간 수준의 성능 달성: 실증적 연구
초록

신경망 시퀀스-투-시퀀스(seq2seq) 접근 방식은 문법 오류 교정(GEC)에서 성공적으로 입증되었습니다. seq2seq 프레임워크를 기반으로, 우리는 새로운 유창성 향상 학습 및 추론 메커니즘을 제안합니다. 유창성 향상 학습은 훈련 중 다양한 오류 교정 문장 쌍을 생성하여, 오류 교정 모델이 더 많은 사례를 통해 문장의 유창성을 개선하는 방법을 학습할 수 있도록 합니다. 반면에, 유창성 향상 추론은 모델이 여러 단계의 추론을 통해 문장을 점진적으로 교정할 수 있게 합니다. 유창성 향상 학습과 추론을 컨볼루션 seq2seq 모델과 결합한 우리의 접근 방식은 최고 수준의 성능을 달성하였습니다: CoNLL-2014 10 주석 데이터셋에서 75.72(F_{0.5})와 JFLEG 테스트 세트에서 62.42(GLEU)로 각각 기록되었습니다. 이는 두 벤치마크 모두에서 인간 수준의 성능(ConLL에서는 72.58, JFLEG에서는 62.37)을 처음으로 달성한 GEC 시스템이 되었습니다.

자동 문법 오류 교정에서 인간 수준의 성능 달성: 실증적 연구 | 최신 연구 논문 | HyperAI초신경