초록
이 논문은 텍스트 분류를 위한 저복잡도의 단어 수준 딥 컨볼루션 신경망(CNN) 아키텍처를 제안하며, 텍스트 내 장거리 상관관계를 효율적으로 표현할 수 있도록 한다. 기존 문헌에서는 비교적 많은 양의 학습 데이터가 가용하다는 가정 하에, 여러 가지 깊고 복잡한 신경망이 제안되어 왔다. 그러나 네트워크가 깊어질수록 관련된 계산 복잡도가 증가하게 되어 실용적 응용에서 심각한 도전 과제를 야기한다. 더불어 최근 연구에서는, 대량의 학습 데이터 환경에서도 매우 깊은 네트워크(예: 문자 수준 CNN)보다 얕은 단어 수준 CNN이 더 높은 정확도와 훨씬 빠른 속도를 보임이 입증되었다. 이러한 발견들에 영감을 받아, 우리는 단어 수준 CNN의 깊이를 깊게 하여 텍스트의 전반적인 표현을 포착하는 방식을 철저히 탐구하였으며, 계산 비용을 크게 증가시키지 않으면서도 네트워크 깊이를 증가시킴으로써 최고의 정확도를 달성할 수 있는 간단한 네트워크 아키텍처를 발견하였다. 이를 '딥 피라미드 CNN(Deep Pyramid CNN)'이라 명명한다. 제안된 모델은 15개의 가중치 계층을 갖추고 있으며, 감성 분류 및 주제 분류를 위한 여섯 개의 벤치마크 데이터셋에서 기존 최고 성능 모델들을 모두 상회한다.