2달 전

신경망 오류 검출 모델의 보조 목표

Marek Rei; Helen Yannakoudakis
신경망 오류 검출 모델의 보조 목표
초록

우리는 학습자 글쓰기에서 오류 검출을 위한 신경망 시퀀스 라벨링 접근 방식 내의 다양한 보조 목표와 훈련 전략의 유용성을 조사합니다. 보조 비용은 모델에 추가적인 언어 정보를 제공하여, 이로 인해 일반적인 구성적 특징을 학습할 수 있게 되며 이러한 특징은 다른 목표에서도 활용될 수 있습니다. 실험 결과, 영역 내 데이터에서 병렬 라벨로 훈련된 공동 학습 접근 방식이 이전 최고의 오류 검출 시스템보다 성능이 개선되는 것으로 나타났습니다. 결과적으로 동일한 매개변수 수를 가진 모델이지만, 추가적인 목표는 모델을 더 효율적으로 최적화하고 더 우수한 성능을 달성할 수 있게 합니다.

신경망 오류 검출 모델의 보조 목표 | 최신 연구 논문 | HyperAI초신경