두 방향 LSTM과 2차원 최대 풀링을 통합한 텍스트 분류 개선

재귀 신경망(Recurrent Neural Network, RNN)은 자연어 처리(Natural Language Processing, NLP) 작업에서 가장 많이 사용되는 아키텍처 중 하나입니다. 이는 RNN의 재귀 구조가 가변 길이의 텍스트를 처리하기에 매우 적합하기 때문입니다. RNN은 각 텍스트를 구성하는 토큰을 먼저 벡터로 변환하여 행렬을 형성한 후, 단어의 분산 표현(distributed representations)을 활용할 수 있습니다. 이 행렬은 두 가지 차원을 포함하며, 시간 단계(time-step) 차원과 특징 벡터(feature vector) 차원으로 나뉩니다. 이후 대부분의 기존 모델들은 시간 단계 차원에서만 1차원(1D) 최대 풀링(max pooling) 연산이나 주의 기반(attention-based) 연산을 사용하여 고정 길이 벡터를 얻습니다. 그러나 특징 벡터 차원상의 특징들은 서로 독립적이지 않으며, 시간 단계 차원에서 독립적으로 1D 풀링 연산을 적용하면 특징 표현의 구조가 파괴될 수 있습니다. 반면에 두 차원 모두에서 2차원(2D) 풀링 연산을 적용하면 시퀀스 모델링 작업에 더 의미 있는 특징들을 샘플링할 수 있습니다. 행렬의 두 차원 모두에서 특징을 통합하기 위해 본 논문에서는 2D 최대 풀링(max pooling) 연산을 적용하여 텍스트의 고정 길이 표현을 얻는 방법을 탐구합니다. 또한 본 논문에서는 2D 컨볼루션(2D convolution)을 사용하여 행렬의 더 의미 있는 정보를 샘플링합니다. 실험은 감성 분석(sentiment analysis), 질문 분류(question classification), 주관성 분류(subjectivity classification), 뉴스그룹 분류(newsgroup classification) 등을 포함하는 여섯 개의 텍스트 분류 작업에서 수행되었습니다. 제안된 모델들은 기존 최고 성능 모델들과 비교해 6개 작업 중 4개에서 우수한 성능을 보였습니다. 특히 제안된 모델 중 하나는 Stanford 감성 트리뱅크 이진 분류(binary classification)와 세부 등급(fine-grained classification) 작업에서 가장 높은 정확도를 달성했습니다.