17일 전

BERT를 활용한 자동 에세이 채점: 다중 규모 에세이 표현의 공동 학습

Yongjie Wang, Chuan Wang, Ruobing Li, Hui Lin
BERT를 활용한 자동 에세이 채점: 다중 규모 에세이 표현의 공동 학습
초록

최근 몇 년 동안 사전 학습 모델은 자연어 처리(NLP) 분야의 대부분의 작업에서 주류가 되었다. 그러나 자동 에세이 채점(AES) 분야에서는 BERT와 같은 사전 학습 모델이 LSTM과 같은 다른 딥러닝 모델보다 성능을 뛰어넘는 데 적절히 활용되지 못하고 있다. 본 논문에서는 BERT를 위한 새로운 다중 스케일 에세이 표현 방식을 제안하며, 이 표현 방식은 공동 학습이 가능한 구조를 갖는다. 또한, 다중 손실 함수를 도입하고 도메인 외부 에세이 데이터로부터의 전이 학습을 활용하여 성능을 further 향상시킨다. 실험 결과, 본 연구에서 제안한 방법은 다중 스케일 에세이 표현의 공동 학습을 통해 큰 이점을 얻으며, ASAP 작업에서 모든 딥러닝 모델 중 거의 최고 수준의 성능을 달성함을 보였다. 또한 본 연구에서 제안한 다중 스케일 에세이 표현은 CommonLit Readability Prize 데이터셋에도 잘 일반화됨을 확인하였으며, 이는 본 논문에서 제안하는 새로운 텍스트 표현 방식이 장문 텍스트 처리 작업에 있어 새로운 효과적인 대안이 될 수 있음을 시사한다.

BERT를 활용한 자동 에세이 채점: 다중 규모 에세이 표현의 공동 학습 | 최신 연구 논문 | HyperAI초신경