혼합 목적 함수를 이용한 반지도 텍스트 분류를 위한 LSTM 네트워크 재검토

본 논문에서는 감독 학습과 준감독 학습 접근법을 모두 사용하여 텍스트 분류 작업을 위한 양방향 LSTM 네트워크를 연구합니다. 이전의 여러 연구들은 언어 모델링과 같은 비감독 방법을 사용한 복잡한 사전 학습 방식(Dai와 Le, 2015; Miyato, Dai, 및 Goodfellow, 2016) 또는 복잡한 모델(Johnson과 Zhang, 2017)이 높은 분류 정확도를 달성하기 위해 필요하다고 제안하였습니다. 그러나 우리는 크로스 엔트로피 손실 함수를 사용하여 간단한 BiLSTM 모델도 경쟁력 있는 결과를 얻을 수 있도록 하는 학습 전략을 개발하였습니다. 또한 크로스 엔트로피 손실 함수뿐만 아니라 엔트로피 최소화, 적대적(adversarial), 그리고 가상 적대적(virtual adversarial) 손실 함수를 라벨된 데이터와 라벨되지 않은 데이터에 조합하여 사용함으로써 여러 벤치마크 데이터셋에서 텍스트 분류 작업에 대한 최신 결과를 보고합니다. 특히 ACL-IMDB 감정 분석 데이터셋과 AG-News 주제 분류 데이터셋에서 우리의 방법은 현행 접근법보다 상당히 우수한 성능을 보였습니다. 또한 혼합 목적 함수의 일반성을 관계 추출 작업의 성능 개선을 통해 입증하였습니다.