초록
우리는 다층 컨볼루션 인코더-디코더 신경망을 사용하여 텍스트에서 문법적, 철자적, 그리고 어휘 조합 오류를 자동으로 수정하는 방법을 개선했습니다. 이 신경망은 문자 N-그램 정보를 활용한 임베딩으로 초기화되어 이 작업에 더 적합하도록 설계되었습니다. 일반적인 벤치마크 테스트 데이터 세트(CoNLL-2014 및 JFLEG)에서 평가한 결과, 우리의 모델은 이 작업에서 모든 이전의 신경망 접근 방식뿐만 아니라 동일한 데이터로 학습된 신경망과 작업 특异性 특징을 가진 강력한 통계적 기계 번역 시스템보다 크게 우수한 성능을 보였습니다. 우리의 분석은 주목 메커니즘을 통해 국부적 맥락을 포착하는 데 있어 재귀 신경망(LSTM)보다 컨볼루션 신경망이 우수함을 보여주며, 이를 통해 문법 오류 수정의 범위를 개선할 수 있음을 입증하였습니다. 여러 모델을 앙상블하고 N-그램 언어 모델 및 편집 특징을 재점수화를 통해 통합함으로써, 우리의 혁신적인 방법은 문법성과 유창성 측면에서 현재 최고 수준의 통계적 기계 번역 접근 방식을 처음으로 능가하는 신경망 접근 방식이 되었습니다.