베이스라인에 더 많은 사랑을: 단순한 워드 임베딩 기반 모델과 연관된 풀링 메커니즘에 대해

많은 딥 러닝 아키텍처가 텍스트 시퀀스의 구성성을 모델링하기 위해 제안되었으며, 이는 많은 파라미터와 비싼 계산을 필요로 합니다. 그러나 복잡한 구성 함수의 추가 가치에 대한 엄격한 평가는 이루어지지 않았습니다. 본 논문에서는 파라미터가 없는 풀링 연산으로 구성된 간단한 워드 임베딩 기반 모델(SWEMs)과 워드 임베딩 기반 RNN/CNN 모델 사이에서 포인트별 비교 연구를 수행합니다. 놀랍게도, SWEMs는 대부분의 고려된 사례에서 유사하거나 심지어 우수한 성능을 보입니다. 이러한 이해를 바탕으로, 학습된 워드 임베딩에 대해 두 가지 추가적인 풀링 전략을 제안합니다: (i) 해석성을 개선하기 위한 맥스-풀링 연산; (ii) 텍스트 시퀀스 내의 공간적(n-그램) 정보를 유지하는 계층적 풀링 연산입니다. 우리는 세 가지 작업을 포함하는 17개 데이터셋에서 실험 결과를 제시합니다: (i) (긴) 문서 분류; (ii) 텍스트 시퀀스 매칭; (iii) 분류 및 태깅을 포함하는 짧은 텍스트 작업입니다. 소스 코드와 데이터셋은 https://github.com/dinghanshen/SWEM에서 얻을 수 있습니다.