초록
반복 신경망(RNN)은 텍스트 분류 분야에서 뛰어난 성능을 달성해왔다. RNN은 전체 시퀀스를 모델링하고 장기적 의존성을 포착할 수 있는 장점이 있지만, 핵심 패턴을 효과적으로 추출하지는 못한다. 반면, 합성 신경망(CNN)은 국소적이고 위치 불변 특징을 잘 추출하는 데 강점을 지닌다. 본 논문에서는 RNN에 위치 불변성(위치에 관계없이 동일한 특징을 인식하는 능력)을 도입한 새로운 모델인 분리형 반복 신경망(DRNN)을 제안한다. DRNN은 RNN 내 정보 흐름의 거리를 제한함으로써, 각 시점의 은닉 상태가 현재 위치 근처의 단어만을 표현하도록 제약한다. 제안된 모델은 기존 RNN 및 CNN 모델에 비해 큰 성능 향상을 보이며, 여러 텍스트 분류 기준 데이터셋에서 최고의 성능을 달성하였다.