2달 전

다중 작업 학습을 이용한 텍스트 분류를 위한 순환 신경망

Pengfei Liu; Xipeng Qiu; Xuanjing Huang
다중 작업 학습을 이용한 텍스트 분류를 위한 순환 신경망
초록

신경망 기반 방법은 다양한 자연어 처리 작업에서 큰 진전을 이룩하였습니다. 그러나 대부분의 이전 연구에서는 단일 작업 감독 학습 목표를 기반으로 모델을 학습하였는데, 이는 종종 충분하지 않은 훈련 데이터로 인해 문제가 되었습니다. 본 논문에서는 다중 작업 학습 프레임워크를 사용하여 여러 관련 작업 간에 공동으로 학습하는 방법을 제안합니다. 순환 신경망을 기반으로 하여, 작업 특이적 층과 공유 층을 활용한 세 가지 다른 정보 공유 메커니즘을 제안합니다. 전체 네트워크는 이러한 모든 작업에 대해 공동으로 훈련됩니다. 네 가지 벤치마크 텍스트 분류 작업에 대한 실험 결과, 제안된 모델들이 다른 관련 작업들의 도움으로 특정 작업의 성능을 개선할 수 있음을 보여주었습니다.

다중 작업 학습을 이용한 텍스트 분류를 위한 순환 신경망 | 최신 연구 논문 | HyperAI초신경