11일 전

텍스트 분류를 위한 순환 합성곱 신경망

{Jun Zhao, Kang Liu, Liheng Xu, Siwei Lai}
초록

텍스트 분류는 자연어 처리(NLP) 응용 분야에서 핵심적인 기초 과제이다. 기존의 텍스트 분류기는 일반적으로 사전, 지식 기반 시스템, 특수 트리 커널과 같은 수작업으로 설계된 특징에 의존해 왔다. 반면, 본 연구에서는 수작업 특징을 필요로 하지 않는 순환 합성곱 신경망을 제안한다. 본 모델에서는 단어 표현을 학습하는 과정에서 맥락 정보를 가능한 한 잘 포착하기 위해 순환 구조를 도입함으로써, 기존의 윈도우 기반 신경망에 비해 상당히 적은 노이즈를 유발할 수 있다. 또한, 텍스트 분류에 핵심적인 역할을 하는 단어들을 자동으로 판단하여 텍스트의 핵심 구성 요소를 효과적으로 추출할 수 있도록 최대 풀링(max-pooling) 레이어를 활용한다. 본 연구는 네 가지 일반적으로 사용되는 데이터셋에서 실험을 수행하였으며, 실험 결과 제안된 방법이 여러 데이터셋에서 최신 기술(SOTA)을 능가함을 확인하였으며, 특히 문서 수준(document-level) 데이터셋에서 두드러진 성능 향상을 보였다.

텍스트 분류를 위한 순환 합성곱 신경망 | 최신 연구 논문 | HyperAI초신경