초록
이전 연구들은 자동 에세이 채점 시스템, 특히 기계학습 기반 시스템이 에세이의 질을 평가하는 데 한계가 있으며, 오히려 작문 능력과 무관한 요소인 에세이의 길이에 의존하고 있음을 보여주었다. 본 연구에서는 최신 신경망 기반 에세이 채점 시스템이 표준 데이터셋에서 에세이 길이와 점수 사이의 상관관계에 영향을 받을 수 있음을 처음으로 지적한다. 평가 결과, 매우 단순한 신경망 모델이 표준 데이터셋에서 최신 기술 수준의 성능을 달성하는 것으로 나타났다. 에세이 길이를 고려하지 않고 내용의 질만을 평가하기 위해, 입력된 에세이와 서로 다른 점수를 부여받은 에세이들 간의 내용 유사도를 측정하는 간단한 신경망 모델을 제안한다. 이 모델은 표준 데이터셋뿐만 아니라 두 번째 데이터셋에서도 최신 기술 수준과 비교할 만한 성능을 달성하였다. 본 연구의 결과는 신경망 기반 에세이 채점 시스템이 데이터셋의 특성을 고려하여 텍스트의 질에 초점을 맞춰야 한다는 점을 시사한다.