SkipFlow: 신경망 일관성 특성을 활용한 단계별 자동 텍스트 점수 매기기

딥 러닝은 자동 텍스트 점수화(Automatic Text Scoring, ATS) 작업에서 엄청난 잠재력을 보여주었습니다. 본 논문에서는 일반적인 신경망 모델을 보조 신경 일관성 특징으로 강화하는 새로운 신경 구조를 설명합니다. 제안된 새로운 방법은 LSTM 네트워크가 텍스트를 읽는 동안 은닉 표현의 스냅샷 간의 관계를 모델링하는 \textsc{SkipFlow} 메커니즘을 도입합니다. 이어서 여러 스냅샷 간의 의미적 관계가 예측을 위한 보조 특징으로 사용됩니다. 이 방법은 두 가지 주요 장점을 제공합니다.첫째, 에세이는 일반적으로 긴 시퀀스이므로 LSTM 네트워크의 기억 능력이 부족할 수 있습니다. 여러 스냅샷에 대한 암시적인 접근은 사라지는 기울기 문제에 대한 보호 역할을 하여 이 문제를 완화할 수 있습니다. \textsc{SkipFlow} 메커니즘의 매개변수도 보조 기억 역할을 합니다.둘째, 여러 위치 간의 관계를 모델링함으로써 우리의 모델은 텍스트 일관성을 나타내고 근사하는 특징을 학습할 수 있습니다. 본 연구에서는 이를 \textit{신경 일관성} 특징이라고 부릅니다. 전체적으로, 우리는 텍스트를 읽는 과정에서 end-to-end 방식으로 신경 일관성 특징을 생성하는 통합된 딥 러닝 구조를 제시합니다.본 접근법은 벤치마크 ASAP 데이터셋에서 최상의 성능을 보여주며, 피처 엔지니어링 기반 기준모델뿐만 아니라 다른 딥 러닝 모델들보다도 우수한 결과를 나타냈습니다.