쌍대 대비 회귀를 통한 자동 에세이 채점

자동 에세이 점수 매기기(Automated Essay Scoring, AES)는 에세이의 작성 품질과 관련된 점수를 예측하는 과정을 의미한다. 기존 AES 연구 대부분은 회귀 목표 또는 순위 목표를 각각 활용하고 있다. 그러나 두 가지 방법은 서로 매우 보완적인 관계에 있다. 이를 바탕으로 본 논문에서는 대조 학습(contrastive learning)의 아이디어를 차용하여, 두 가지 목표를 하나의 손실 함수로 동시에 최적화할 수 있는 새로운 통합형 신경망 쌍별 대조 회귀(Neural Pairwise Contrastive Regression, NPCR) 모델을 제안한다. 구체적으로, 먼저 대규모 에세이 목록 내에서 전역 순위 순서를 보장하기 위한 신경망 쌍별 순위 모델을 설계한 후, 입력된 에세이와 여러 기준 에세이 간의 상대 점수를 예측할 수 있도록 이 쌍별 순위 모델을 확장한다. 또한 추론 단계에서는 다중 샘플 투표 전략(multi-sample voting strategy)을 도입한다. 공개된 자동 학생 평가 상(Automated Student Assessment Prize, ASAP) 데이터셋에서 Quadratic Weighted Kappa를 사용하여 모델 성능을 평가한 결과, NPCR는 기존 방법들을 크게 능가하며 AES 작업에서 최신 기술(SOTA) 수준의 평균 성능을 달성하였다.