초록
문법 오류 수정(Grammatical Error Correction, GEC)에 관한 연구들은 방대한 가상 데이터(pseudodata)를 활용한 Seq2Seq 모델의 사전 훈련이 효과적임을 보고하고 있다. 그러나 이러한 접근 방식은 가상 데이터의 규모가 크기 때문에 GEC를 위한 사전 훈련 과정이 시간이 매우 오래 걸리는 문제가 있다. 본 연구에서는 GEC에 일반화된 사전 훈련된 인코더-디코더 모델로서 양방향 및 자기 회귀형 트랜스포머(Bidirectional and Auto-regressive Transformers, BART)의 활용 가능성을 탐색한다. 이 일반화된 사전 훈련 모델을 GEC에 적용함으로써, 시간이 오래 걸리는 사전 훈련 과정을 제거할 수 있다. 실험 결과, 단일 언어 및 다국어 BART 모델이 GEC에서 높은 성능을 달성함을 확인하였으며, 그 중 일부 결과는 영어 GEC 분야에서 현재 가장 우수한 성능과 비교 가능한 수준에 이르렀다. 본 연구의 구현 코드는 GitHub에 공개되어 있으며, 다음 링크에서 확인할 수 있다: https://github.com/Katsumata420/generic-pretrained-GEC.