11일 전

문법 오류 수정의 기둥: 대규모 언어 모델 시대의 현대적 접근 방식에 대한 종합적 검토

Kostiantyn Omelianchuk, Andrii Liubonko, Oleksandr Skurzhanskyi, Artem Chernodub, Oleksandr Korniienko, Igor Samokhin
문법 오류 수정의 기둥: 대규모 언어 모델 시대의 현대적 접근 방식에 대한 종합적 검토
초록

본 논문에서는 문법 오류 수정(Grammatical Error Correction, GEC)에 대한 실험적 연구를 수행하며, 단일 모델 시스템의 특성에 대한 심층 분석을 진행하고, 앙상블(ensembling) 및 랭킹(ranking) 방법의 효율성을 비교하며, 대규모 언어 모델(Large Language Models, LLMs)이 단일 모델 시스템으로, 앙상블의 일부로, 또는 랭킹 방법으로 GEC에 어떻게 활용될 수 있는지 탐구한다. 이를 통해 CoNLL-2014-test에서는 F₀.₅ 스코어 72.8, BEA-test에서는 81.4을 기록하며 각각 새로운 최고 성능(SOTA)을 달성하였다. GEC 분야의 추가적인 발전을 지원하고 본 연구의 재현 가능성을 보장하기 위해, 코드, 학습된 모델, 시스템 출력 결과물을 모두 공개한다.

문법 오류 수정의 기둥: 대규모 언어 모델 시대의 현대적 접근 방식에 대한 종합적 검토 | 최신 연구 논문 | HyperAI초신경