초록
언어 학습 환경에 배치된 문법 오류 수정(Grammatical Error Correction, GEC) 시스템은 학습자의 글쓰기에서 발생하는 오류를 정확하게 수정해 주기를 기대할 수 있다. 그러나 실질적으로 이러한 시스템은 종종 부정확한 수정을 생성하거나 많은 오류를 수정하지 못하여 학습자를 오도하는 경우가 많다. 이에 따라 GEC 시스템이 생성한 출력 문장의 품질을 정량적으로 평가할 수 있는 방법이 필요하며, 이를 통해 교사들은 시스템이 잘못 수정한 문장에 대해 선택적으로 개입하고 재수정함으로써 학습자가 정확한 피드백을 받을 수 있도록 보장할 수 있다. 본 연구에서는 수작업으로 설계된 특징을 사용하지 않고, 처음으로 신경망 기반의 GEC 출력 문장 품질 평가(Neural Quality Estimation, QE) 방법을 제안한다. 제안하는 시스템은 인간이 레퍼런스 문장을 수작업으로 평가한 결과를 기반으로 삼아 품질 점수 레이블을 부여한 학습자 문장과 그에 해당하는 GEC 시스템의 출력 문장을 이용해 지도학습 방식으로 학습된다. 제안하는 GEC용 신경망 품질 평가 모델은 강력한 특징 기반 기준 모델에 비해 뚜렷한 성능 향상을 보였다. 또한, 최신 GEC 시스템의 성능을 N-best 후보들을 재순서 정렬(re-ranking)하는 데 품질 점수를 특징으로 활용함으로써 더욱 향상시킬 수 있음을 실험을 통해 입증하였다.