Seq2Seq 문법 오류 수정을 위한 디코딩 간섭 기법 개선

최근 시퀀스-투-시퀀스(Seq2Seq) 접근법은 문법 오류 수정(Grammatical Error Correction, GEC) 분야에서 널리 사용되며 유망한 성능을 보이고 있다. 그러나 Seq2Seq 기반 GEC 모델은 여전히 두 가지 주요 문제를 겪고 있다. 첫째, Seq2Seq GEC 모델은 병렬 데이터(parallel data)에만 훈련될 수 있으며, GEC 작업에서 이러한 데이터는 일반적으로 노이즈가 많고 양이 제한적이다. 둘째, Seq2Seq GEC 모델의 디코더는 생성 중인 토큰의 정확성에 대해 명시적인 인식을 갖지 못한다. 본 논문에서는 토큰 생성 과정에서 차례로 생성될 토큰의 적절성을 외부 비평가(external critic)를 통해 평가하고, 이를 기반으로 다음 토큰 선택을 동적으로 조절하는 통합적 디코딩 간섭 프레임워크를 제안한다. 우리는 두 가지 유형의 비평가를 발견하고 탐구하였다: 사전 훈련된 좌측에서 우측으로 진행되는 언어 모델 비평가와 증분적 타겟 측 문법 오류 탐지 비평가이다. 영어 및 중국어 데이터셋에서 실시한 광범위한 실험을 통해 제안한 프레임워크는 강력한 기준 모델들을 일관되게 능가하며, 최신 기술 수준의 성능과 경쟁 가능한 결과를 달성하였다.