문법 오류 수정을 위한 다중 가설을 이용한 신경망 품질 추정

문법 오류 수정(Grammatical Error Correction, GEC)은 글쓰기 오류를 수정하고 언어 학습자가 글쓰기 능력을 향상시키는 것을 목표로 합니다. 그러나 기존의 GEC 모델들은 허위 수정을 생성하거나 많은 오류를 감지하지 못하는 경향이 있습니다. GEC 결과의 정확성을 보장하고 잘못 수정된 문장으로부터 오해를 피하기 위해 품질 추정 모델이 필요합니다. 잘 훈련된 GEC 모델은 빔 검색과 같은 디코딩 방법을 통해 여러 개의 고품질 가설을 생성할 수 있으며, 이는 귀중한 GEC 증거를 제공하여 GEC 품질을 평가하는 데 사용될 수 있습니다. 그러나 기존 모델들은 다른 가설에서 얻을 수 있는 가능한 GEC 증거를 간과하고 있습니다. 본 논문에서는 다중 가설을 활용한 GEC 품질 추정을 위한 신경 검증 네트워크(Neural Verification Network, VERNet)를 제시합니다. VERNet은 추론 그래프를 통해 가설들 사이의 상호작용을 설정하고 두 가지 주의 메커니즘(attention mechanisms)을 수행하여 생성된 가설들의 품질을 검증하기 위해 GEC 증거를 전파합니다. 우리는 4개의 GEC 데이터셋에 대한 실험에서 VERNet이 최고 수준의 문법 오류 감지 성능을 달성하며, 최상의 품질 추정 결과를 도출하고, 가설 재순위 부여(reranking hypotheses)를 통해 GEC 성능을 크게 개선함을 확인했습니다. 모든 데이터와 소스 코드는 https://github.com/thunlp/VERNet에서 이용 가능합니다.