Abstractive Text Classification Using Sequence-to-convolution Neural Networks 추상적 텍스트 분류를 위한 시퀀스-컨볼루션 신경망의 활용

우리는 텍스트 분류를 위한 새로운 딥 뉴럴 네트워크 모델과 그 훈련 방안을 제안합니다. 우리의 모델인 시퀀스-컨벌루션 신경망(Seq2CNN)은 두 개의 블록으로 구성되어 있습니다: 입력 텍스트를 요약하는 순차적 블록(Sequential Block)과 입력 요약을 받아 라벨로 분류하는 컨벌루션 블록(Convolution Block)입니다. Seq2CNN은 사전에 입력을 고정된 길이로 전처리하지 않고도 다양한 길이의 텍스트를 분류하도록 엔드투엔드로 훈련됩니다. 또한, 훈련을 안정화시키는 점진적 가중치 이동(Gradual Weight Shift, GWS) 방법을 소개합니다. GWS는 우리의 모델의 손실 함수(loss function)에 적용됩니다. 우리는 단어 기반 TextCNN과 다른 데이터 전처리 방법으로 훈련한 결과를 비교했습니다. 어떠한 앙상블 또는 데이터 증강 없이도 단어 기반 TextCNN보다 분류 정확도에서 유의미한 개선을 얻었습니다.