초록
이 논문은 GPT-3.5를 다양한 언어에서 문법 오류 수정(Grammatical Error Correction, GEC)에 적용하는 방법을 여러 설정에서 탐구한다. 구체적으로는 제로샷 GEC, GEC를 위한 미세조정(fine-tuning), 그리고 다른 GEC 모델이 생성한 수정 후보를 GPT-3.5를 활용해 재순위화(re-rank)하는 방식을 포함한다. 제로샷 설정에서는 언어 모델(LMs)을 이용한 문법적 타당성 추정, Scribendi 테스트, 문장 간 의미 임베딩 비교 등의 방법을 통해 GPT-3.5가 제안한 수정 결과를 자동 평가한다. GPT-3.5는 알려진 바와 같이 오류 문장을 과도하게 수정하거나 대체 수정안을 제시하는 경향이 있다. 체코어, 독일어, 러시아어, 스페인어, 우크라이나어와 같은 여러 언어에서는 GPT-3.5가 원문 문장을 의미론적으로도 크게 변화시켜, 참조 기반 평가 지표를 활용한 평가에 큰 도전을 제기한다. 반면 영어에 대해서는 GPT-3.5는 높은 재현율을 보이며 자연스럽고 유창한 수정 결과를 생성하며 문장의 의미를 일반적으로 유지한다. 그러나 영어와 러시아어에 대한 인공지능 평가 결과에 따르면, GPT-3.5는 강력한 오류 탐지 능력을 지니고 있음에도 불구하고, 문장 부호 오류, 시제 오류, 단어 간 구문적 의존 관계 오류, 문장 수준의 어휘적 호환성 오류 등 몇 가지 오류 유형에 대해 여전히 어려움을 겪는다.